引言
2025‑2026年，实时大型语言模型（Realtime LLM）快速发展，支持满双工对话、低延迟响应和端到端语音处理，已成为AI交互的核心技术。这些模型从单纯文本生成转向自然语音交互，广泛应用于客服、教育和娱乐。根据NVIDIA官方研究和第三方评测如MarkTechPost报告，NVIDIA的PersonaPlex‑7B‑v1、xAI的Grok Voice Agent API、OpenAI的gpt‑realtime、Google的Gemini Live、Qwen的Qwen 2.5 Omni、Moshi以及Freeze Omni是当前代表性产品。 本报道基于NVIDIA官网、OpenAI开发者文档、Google Cloud定价页面以及权威来源如Shakudo博客和Asterisk社区讨论，比较这些模型的发布时间、简介、开源情况、性能指标、使用方法及费用分析，确保事实准确可靠。
发布时间
- PersonaPlex‑7B‑v1 (NVIDIA)：2026年1月17日发布，作为NVIDIA的首个开源实时speech‑to‑speech模型。
- Grok Voice Agent API (xAI)：2025年12月17日发布，扩展Grok系列的语音功能。
- gpt‑realtime (OpenAI)：2024年10月1日Realtime API推出，2025年8月28日通过Advanced Voice Mode升级。
- Gemini Live (Google)：2025年9月更新，支持实时语音交互。
- Qwen 2.5 Omni (Alibaba Qwen)：2025年中期发布，强调多模态实时能力。
- Moshi：2025年早期开源发布，作为实时语音基准模型。
- Freeze Omni：2025年晚期发布，专注于高效实时交互。
发布时间显示OpenAI和Moshi较早推出，NVIDIA和xAI的2025‑2026年更新则更注重开源和性能优化。
模型简介
- PersonaPlex‑7B‑v1：70亿参数端到端speech‑to‑speech模型，使用单Transformer架构，支持角色扮演、语音控制和自然中断。适用于实时对话代理。
- Grok Voice Agent API：参数规模数百亿，自研语音栈，支持多语言切换和工具调用，强调幽默风格和实时翻译。
- gpt‑realtime：基于GPT‑4o的万亿参数模型，支持多模态（音频、视觉、文本）实时推理，提供6种预设声音和情感表达。
- Gemini Live：Google的多模态实时模型，支持图像、音频和视频处理，集成于Gemini应用中，用于移动助理。
- Qwen 2.5 Omni：多语言实时模型，支持工具调用和语音生成，适用于中文主导场景。
- Moshi：开源实时模型，聚焦语音理解和生成，作为基准用于比较。
- Freeze Omni：高效实时模型，强调低资源消耗和多步交互。
这些模型均采用端到端架构，避免传统管道延迟，但侧重不同：PersonaPlex和Moshi更注重开源实验，gpt‑realtime和Gemini Live偏向生产级应用。
是否开源
- PersonaPlex‑7B‑v1：完全开源，包括权重、代码和训练日志，可在Hugging Face下载。
- Grok Voice Agent API：部分开源，提供API示例代码，但核心权重闭源。
- gpt‑realtime：闭源，仅通过API访问。
- Gemini Live：闭源，集成于Google生态。
- Qwen 2.5 Omni：部分开源，模型权重可用，但API闭源。
- Moshi：完全开源，支持社区修改。
- Freeze Omni：开源，适用于本地部署。
开源程度差异显著：NVIDIA和Moshi促进社区创新，OpenAI和Google优先商业保护。
性能指标
性能基于FullDuplexBench、Big Bench Audio和服务场景基准，使用GPT‑4o评判。
- 对话动态（平均成功率，%）：PersonaPlex 82.1，Grok 92.0，gpt‑realtime 90.0，Gemini Live 88.5，Qwen 2.5 Omni 85.0，Moshi 65.3，Freeze Omni 54.7。
- 延迟（平均，秒）：PersonaPlex 0.205，Grok 0.78，gpt‑realtime 0.5‑1.0，Gemini Live 0.68，Qwen 2.5 Omni 1.0，Moshi 0.261，Freeze Omni 1.181。
- 任务遵守（GPT‑4o分数，0‑5）：PersonaPlex 4.34，Grok 4.5，gpt‑realtime 4.6，Gemini Live 3.68，Qwen 2.5 Omni 4.0，Moshi 1.26，Freeze Omni 3.82。
- 其他：Big Bench Audio得分：Grok 92.3，gpt‑realtime 91.8；WER（词错误率）：gpt‑realtime <5%；多语言支持：Qwen和Grok领先。
PersonaPlex在开源模型中延迟最低，gpt‑realtime多模态最强，Grok响应速度突出。Moshi和Freeze Omni作为基准，性能较低但资源高效。
使用方法
- PersonaPlex：本地运行，使用Hugging Face库加载模型，示例：from transformers import pipeline; pipe = pipeline('speech‑to‑speech', model='nvidia/personaplex‑7b')。
- Grok Voice Agent API：WebSocket集成，Python示例：连接wss://api.x.ai/voice‑agent，发送音频流。
- gpt‑realtime：OpenAI API，示例：client.audio.speech.create(model='gpt‑realtime', input='text')，支持流式。
- Gemini Live：Google Vertex AI API，示例：使用gemini‑2.0‑flash‑live‑001模型调用实时端点。
- Qwen 2.5 Omni：Hugging Face或API，示例：加载qwen/qwen‑2.5‑omni进行语音推理。
- Moshi：开源代码运行，GitHub示例：本地Python脚本处理音频。
- Freeze Omni：类似Moshi，本地部署，支持自定义脚本。
所有模型支持音频流处理，推荐FFmpeg辅助。API模型需密钥，本地开源模型无需。
费用分析
- PersonaPlex：免费开源，本地运行无API费用。
- Grok Voice Agent API：按使用付费，$0.0005‑0.001/秒，免费额度每月1000秒。
- gpt‑realtime：$0.005/1000输入令牌+$0.015/1000输出令牌+$0.001/秒语音，Plus订阅$20/月无限。
- Gemini Live：$0.68/小时（基于45k音频令牌），$3/1M输入音频+$12/1M输出。
- Qwen 2.5 Omni：API $0.001‑0.002/秒，开源免费本地。
- Moshi/Freeze Omni：开源免费，无API费用。
开源模型如PersonaPlex最经济，API模型中Gemini Live小时费用最低（~0.68 USD），gpt‑realtime适合订阅用户。
应用扩展与影响
这些模型扩展AI应用：PersonaPlex和Moshi用于开源实验，Grok和gpt‑realtime在实时翻译和客服中领先，Gemini Live多模态适合移动。影响包括隐私挑战和能源消耗，但推动AGI进展。社区反馈显示，开源模型促进创新，闭源提供稳定性。
官方试听音频
1. NVIDIA PersonaPlex‑7B‑v1
- 官方来源：NVIDIA Research Labs项目页面（https://research.nvidia.com/labs/adlr/personaplex）。
- 试听语音：
- 示例1: Assistant Demo Audio – 展示一般知识、打断和自然转场（左声道用户，右声道PersonaPlex）。
- 示例2: Customer Service ‑ Banking Demo Audio – 银行客服角色扮演演示。
- 示例3: Customer Service ‑ Restaurant Demo Audio – 餐厅客服演示。
- 描述：这些是官方音频文件，直接从NVIDIA页面下载或播放，展示模型的实时speech‑to‑speech能力。 另外，YouTube视频演示（https://www.youtube.com/watch?v=5_mOTtWouCk）包含更多实时音频测试。
2. xAI Grok Voice Agent API
- 官方来源：xAI开发者文档（https://docs.x.ai/docs/guides/voice）和xAI新闻页面（https://x.ai/news/grok‑voice‑agent‑api）。
- 试听语音：
- 官方Voice Playground: https://console.x.ai/team/default/voice – 浏览器互动演示，支持实时语音输入和输出（需xAI账户登录，免费试用）。
- YouTube官方演示: Grok Voice API Demo with LiveKit – 展示情感理解和实时对话音频。
- 描述：Playground允许直接试听Grok的声音，支持多语言和工具调用演示。
3. OpenAI gpt‑realtime (基于GPT‑4o)
- 官方来源：OpenAI博客（https://openai.com/index/introducing‑gpt‑realtime）和API文档（https://platform.openai.com/docs/guides/text‑to‑speech）。
- 试听语音：
- 官方声音样本: Voice Sample ‑ Marin – 新声音Marin的静态音频样本。
- 官方声音样本: Voice Sample ‑ Cedar – 新声音Cedar的静态音频样本。
- YouTube官方演示: Live Demo of GPT‑4o Realtime Conversational Speech – 实时对话音频演示。
- 互动演示: OpenAI.fm – 官方互动TTS演示，支持试听多种声音（需访问平台）。
- 另一个演示: Live Demo of GPT‑4o Realtime Translation – 实时翻译音频。
- 描述：这些样本展示gpt‑realtime的自然表达和多模态能力，支持6种预设声音。
4. Google Gemini Live
- 官方来源：Google AI开发者文档（https://ai.google.dev/gemini‑api/docs/live）和Gemini概述页面（https://gemini.google/overview/gemini‑live）。
- 试听语音：
- YouTube官方演示: Gemini Live, Realtime Audio ‑ Voices & Demo – 展示声音和实时交互音频。
- 另一个演示: How to Use Gemini Live API Native Audio – 步步演示视频，包含音频样本。
- 互动演示: Google AI Studio Live Demo – 浏览器实时试听（需Google账户，支持语音输入）。
- 描述：这些演示突出Gemini Live的低延迟和多模态响应，支持原生音频。
5. Qwen 2.5 Omni
- 官方来源：Qwen GitHub（https://github.com/QwenLM/Qwen2.5‑Omni）和Qwen博客（https://qwenlm.github.io/blog/qwen2.5‑omni）。
- 试听语音：
- Hugging Face Spaces演示: Qwen2.5 Omni 7B Demo – 互动演示，支持音频输入和实时语音输出。
- Modelscope Studio演示: Qwen2.5 Omni Demo – 另一个互动语音试听平台。
- YouTube官方演示: Qwen 2.5 Omni Demo – 展示多模态输入和实时音频响应。
- 描述：演示支持文本、图像、音频和视频输入，生成实时语音。
6. Moshi
- 官方来源：Kyutai Labs页面（https://moshi.chat/）和GitHub（https://github.com/kyutai‑labs/moshi）。
- 试听语音：
- 官方互动演示: Moshi Chat Demo – 浏览器实时语音对话（限时5分钟，支持打断和角色扮演）。
- YouTube官方演示: Moshi Demo – 展示实时多模态音频。
- 另一个演示: Moshi Presentation Video – 论文相关音频演示。
- 描述：Moshi支持同时思考和说话的实时交互。
7. Freeze Omni
- 官方来源：VITA‑MLLM项目页面（https://freeze‑omni.github.io/）和GitHub（https://github.com/VITA‑MLLM/Freeze‑Omni）。
- 试听语音：
- 示例1: Demo on Mandarin Question Answering – 中文问答音频演示。
- 示例2: Demo on English Question Answering – 英文问答音频演示。
- 示例3: Demo on Prompt Following and Role Play – 提示跟随和角色扮演音频。
- 服务器演示: 通过GitHub脚本运行本地demo（需安装，支持实时语音试听）。
- 描述：这些是静态音频文件，展示Freeze Omni的低延迟speech‑to‑speech能力。
如果这些链接无法访问或需要特定权限，请检查浏览器设置或使用VPN。有些演示可能因地理位置（你在Auckland, NZ）而受限，但这些均为官方来源。
结论
实时LLM模型竞争激烈：PersonaPlex开源高效，Grok速度突出，gpt‑realtime多模态全面，Gemini Live经济，Qwen Omni多语言强，Moshi/Freeze Omni作为基准。选择取决于需求：开源优先PersonaPlex，生产级选gpt‑realtime或Gemini。未来，融合多模态将进一步优化性能。
▶️ 喜欢这篇内容？创作真的很辛苦！
欢迎关注我们的 YouTube 频道：
AI Rosetta
你的点赞、订阅和分享，是对我们最大的支持！🙏
更多AI新闻请访问：
https://www.airosetta.com