SpeechGPT 2.0-preview

Listening-while-Speaking Language Model (LSLM)是一款旨在提升人机交互自然度的人工智能对话模型。它通过全双工建模(FDM)技术，实现了在说话时同时监听的能力，增强了实时交互性，尤其是在生成内容不满意时能够被打断和实时响应。LSLM采用了基于token的解码器仅TTS进行语音生成，以及流式自监督学习(SSL)编码器进行实时音频输入，通过三种融合策略（早期融合、中期融合和晚期融合）探索最佳交互平衡。

voice-chat-pdf是一个基于LlamaIndex项目，使用Next.js构建的示例，它通过简单的RAG系统，允许用户通过语音与PDF文档进行交互。这个项目需要OpenAI API密钥来访问实时API，并在项目中生成文档的嵌入向量，以便进行语音交互。它展示了如何将先进的机器学习技术应用于提高文档交互的效率和便捷性。

Open-LLM-VTuber 是一个开源项目，旨在通过语音与大型语言模型（LLM）进行交互，具有实时的Live2D面部捕捉和跨平台的长期记忆功能。该项目支持macOS、Windows和Linux平台，允许用户选择不同的语音识别和语音合成后端，以及自定义的长期记忆解决方案。它特别适合希望在不同平台上实现与AI进行自然语言对话的开发者和爱好者。

Sesame 是一个专注于语音技术的跨学科产品和研究团队，旨在通过自然语音交互，让用户与计算机的交互更加自然和高效。其主要产品包括个人语音伴侣和轻量级可穿戴眼镜设备，旨在实现计算机的拟人化，帮助用户更好地组织信息、提升效率。产品的主要优点是语音交互的自然性和设备的便携性，适合日常使用。目前，Sesame 正在积极招聘，致力于推动语音技术的创新。

Fish Speech V1.2是一款基于300,000小时的英语、中文和日语音频数据训练而成的文本到语音（TTS）模型。该模型代表了语音合成技术的最新进展，能够提供高质量的语音输出，适用于多种语言环境。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。

Audioscribe是一个由Wordware公司开发的AI驱动的语音转文字工具，旨在帮助用户将语音快速转换为结构化的笔记。它特别适合需要快速记录和整理思路的用户，例如项目写作者、头脑风暴参与者、电子邮件撰写者等。产品背景信息显示，它是一个WordApp，即基于Wordware IDE构建的应用程序，使用户能够使用自然语言创建定制的AI代理。

FireRedASR-AED-L 是一个开源的工业级自动语音识别模型，专为满足高效率和高性能的语音识别需求而设计。该模型采用基于注意力的编码器-解码器架构，支持普通话、中文方言和英语等多种语言。它在公共普通话语音识别基准测试中达到了新的最高水平，并且在歌唱歌词识别方面表现出色。该模型的主要优点包括高性能、低延迟和广泛的适用性，适用于各种语音交互场景。其开源特性使得开发者可以自由地使用和修改代码，进一步推动语音识别技术的发展。