Sesame

SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练，实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达，同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互，未来计划扩展到更多语言。

voice-chat-pdf是一个基于LlamaIndex项目，使用Next.js构建的示例，它通过简单的RAG系统，允许用户通过语音与PDF文档进行交互。这个项目需要OpenAI API密钥来访问实时API，并在项目中生成文档的嵌入向量，以便进行语音交互。它展示了如何将先进的机器学习技术应用于提高文档交互的效率和便捷性。

Open-LLM-VTuber 是一个开源项目，旨在通过语音与大型语言模型（LLM）进行交互，具有实时的Live2D面部捕捉和跨平台的长期记忆功能。该项目支持macOS、Windows和Linux平台，允许用户选择不同的语音识别和语音合成后端，以及自定义的长期记忆解决方案。它特别适合希望在不同平台上实现与AI进行自然语言对话的开发者和爱好者。

OpenWispr是一款由AI技术驱动的语音转文本工具，注重隐私保护，完全开源。其主要优点在于处理速度快、隐私保护严格，适用于写作、编程等领域。

AI Smart Link是由夏普公司与京都艺术大学共同开发的可穿戴设备，旨在实现与生成AI的自然沟通。该设备通过内置麦克风和摄像头捕捉用户环境，并通过语音进行响应，支持用户在多种生活场景下的应用，如骑行导航、烹饪指导和AIoT家电操作。该设备搭载了夏普开发的边缘AI技术'CE-LLM'，能够快速响应用户需求，实现流畅自然的对话体验。

Chirp AI 是一款专为 Apple Watch 设计的智能语音助手应用。它通过强大的语音识别和人工智能技术，让用户能够仅通过语音指令完成各种操作，如发送信息、获取信息、搜索网络等，极大地提升了用户在移动场景下的操作效率。该产品的主要优点是无需频繁使用手机，即可实现高效的信息交互和任务处理。它适用于那些希望在日常生活中减少对手机依赖，同时又能快速获取信息和完成任务的用户。目前该应用提供免费下载，定位为提升用户生产力和便捷性的智能工具。

Speek是一款AI驱动的助手，通过语音和动画鼠标指针指导用户在网站上的操作，帮助解答问题、引导用户了解网站功能，并简化购买决策。它通过提供实时帮助，结合支持和引导，快速安装并立即开始工作，改善用户体验，提升销售，并减少客户支持查询。

MiniCPM-o 2.6是MiniCPM-o系列中最新且功能最强大的模型。该模型基于SigLip-400M、Whisper-medium-300M、ChatTTS-200M和Qwen2.5-7B构建，拥有8B参数。它在视觉理解、语音交互和多模态直播方面表现出色，支持实时语音对话和多模态直播功能。该模型在开源社区中表现优异，超越了多个知名模型。其优势在于高效的推理速度、低延迟、低内存和功耗，能够在iPad等终端设备上高效支持多模态直播。此外，MiniCPM-o 2.6易于使用，支持多种使用方式，包括llama.cpp的CPU推理、int4和GGUF格式的量化模型、vLLM的高吞吐量推理等。