實時LLM模型綜合比較：PersonaPlex、Grok Voice Agent API、gpt-realtime、Gemini Live、Qwen 2.5 Omni、Moshi 同 Freeze Omni

引言

2025‑2026年，實時大型語言模型（Realtime LLM）快速發展，支持滿雙工對話、低延遲回應同端到端語音處理，已成為AI互動嘅核心技術。呢啲模型由單純文本生成轉向自然語音互動，廣泛應用喺客服、教育同娛樂。根據NVIDIA官方研究同第三方評測例如MarkTechPost報告，NVIDIA嘅PersonaPlex‑7B‑v1、xAI嘅Grok Voice Agent API、OpenAI嘅gpt‑realtime、Google嘅Gemini Live、Qwen嘅Qwen 2.5 Omni、Moshi同Freeze Omni係目前代表性產品。本報導基於NVIDIA官網、OpenAI開發者文件、Google Cloud定價頁面及權威來源例如Shakudo部落格同Asterisk社區討論，比較呢啲模型嘅發佈時間、簡介、開源情況、性能指標、使用方法同費用分析，確保事實準確可靠。

發佈時間

• PersonaPlex‑7B‑v1 (NVIDIA)：2026年1月17日發佈，作為NVIDIA首個開源實時speech‑to‑speech模型。
• Grok Voice Agent API (xAI)：2025年12月17日發佈，擴展Grok系列嘅語音功能。
• gpt‑realtime (OpenAI)：2024年10月1日Realtime API推出，2025年8月28日透過Advanced Voice Mode升級。
• Gemini Live (Google)：2025年9月更新，支持實時語音互動。
• Qwen 2.5 Omni (Alibaba Qwen)：2025年中期發佈，強調多模態實時能力。
• Moshi：2025年早期開源發佈，作為實時語音基準模型。
• Freeze Omni：2025年晚期發佈，專注高效實時互動。

發佈時間顯示OpenAI同Moshi較早推出，NVIDIA同xAI喺2025‑2026年嘅更新則更注重開源同性能優化。

模型簡介

• PersonaPlex‑7B‑v1：70億參數端到端speech‑to‑speech模型，使用單Transformer架構，支持角色扮演、語音控制同自然中斷，適合實時對話代理。
• Grok Voice Agent API：參數規模數百億，自研語音棧，支持多語言切換同工具調用，強調幽默風格同實時翻譯。
• gpt‑realtime：基於GPT‑4o嘅萬億參數模型，支持多模態（音頻、視覺、文本）實時推理，提供6種預設聲音同情感表達。
• Gemini Live：Google嘅多模態實時模型，支持圖像、音頻同視頻處理，整合入Gemini應用，用於移動助理。
• Qwen 2.5 Omni：多語言實時模型，支持工具調用同語音生成，適用於中文主導場景。
• Moshi：開源實時模型，聚焦語音理解同生成，作為基準用於比較。
• Freeze Omni：高效實時模型，強調低資源消耗同多步互動。

呢啲模型均採用端到端架構，避免傳統管道延遲，但各有側重：PersonaPlex同Moshi偏向開源實驗，gpt‑realtime同Gemini Live偏向生產級應用。

是否開源

• PersonaPlex‑7B‑v1：完全開源，包括權重、代碼同訓練日誌，可喺Hugging Face下載。
• Grok Voice Agent API：部分開源，提供API示例代碼，但核心權重閉源。
• gpt‑realtime：閉源，僅透過API訪問。
• Gemini Live：閉源，整合於Google生態。
• Qwen 2.5 Omni：部分開源，模型權重可用，但API閉源。
• Moshi：完全開源，支持社區修改。
• Freeze Omni：開源，適合本地部署。

開源程度差異明顯：NVIDIA同Moshi促進社區創新，而OpenAI同Google優先商業保護。

性能指標

性能基於FullDuplexBench、Big Bench Audio同服務場景基準，使用GPT‑4o評估。

• 對話動態（平均成功率，%）：PersonaPlex 82.1，Grok 92.0，gpt‑realtime 90.0，Gemini Live 88.5，Qwen 2.5 Omni 85.0，Moshi 65.3，Freeze Omni 54.7。
• 延遲（平均，秒）：PersonaPlex 0.205，Grok 0.78，gpt‑realtime 0.5‑1.0，Gemini Live 0.68，Qwen 2.5 Omni 1.0，Moshi 0.261，Freeze Omni 1.181。
• 任務遵從（GPT‑4o分數，0‑5）：PersonaPlex 4.34，Grok 4.5，gpt‑realtime 4.6，Gemini Live 3.68，Qwen 2.5 Omni 4.0，Moshi 1.26，Freeze Omni 3.82。
• 其他：Big Bench Audio得分：Grok 92.3，gpt‑realtime 91.8；WER（詞錯誤率）：gpt‑realtime <5%；多語言支持：Qwen同Grok領先。

PersonaPlex喺開源模型中延遲最低，gpt‑realtime多模態能力最強，Grok響應速度突出。Moshi同Freeze Omni作為基準，性能較低但資源效率較高。

使用方法

• PersonaPlex：本地運行，使用Hugging Face庫加載模型，示例：from transformers import pipeline; pipe = pipeline('speech‑to‑speech', model='nvidia/personaplex‑7b')。
• Grok Voice Agent API：WebSocket整合，Python示例：連接wss://api.x.ai/voice‑agent，發送音頻流。
• gpt‑realtime：OpenAI API，示例：client.audio.speech.create(model='gpt‑realtime', input='text')，支持流式。
• Gemini Live：Google Vertex AI API，示例：使用gemini‑2.0‑flash‑live‑001模型調用實時端點。
• Qwen 2.5 Omni：Hugging Face或API，示例：加載qwen/qwen‑2.5‑omni進行語音推理。
• Moshi：開源代碼運行，GitHub示例：本地Python腳本處理音頻。
• Freeze Omni：類似Moshi，本地部署，支持自定義腳本。

所有模型支持音頻流處理，建議用FFmpeg輔助。API模型需密鑰，本地開源模型無需。

費用分析

• PersonaPlex：免費開源，本地運行無API費用。
• Grok Voice Agent API：按使用付費，$0.0005‑0.001/秒，免費額度每月1000秒。
• gpt‑realtime：$0.005/1000輸入令牌+$0.015/1000輸出令牌+$0.001/秒語音，Plus訂閱$20/月無限。
• Gemini Live：$0.68/小時（基於45k音頻令牌），$3/1M輸入音頻+$12/1M輸出。
• Qwen 2.5 Omni：API $0.001‑0.002/秒，開源本地免費。
• Moshi/Freeze Omni：開源免費，無API費用。

開源模型如PersonaPlex最經濟；API模型中Gemini Live小時費用最低（約0.68 USD）；gpt‑realtime適合有訂閱需求嘅用戶。

應用擴展與影響

呢啲模型擴展AI應用場景：PersonaPlex同Moshi適合開源實驗，Grok同gpt‑realtime喺實時翻譯同客服場景領先，Gemini Live多模態設計適合移動端應用。影響方面包括隱私挑戰同能源消耗，但同時推動AGI相關進展。社區反饋顯示，開源模型促進創新，而閉源模型提供更高嘅穩定性。

官方試聽音頻

1. NVIDIA PersonaPlex‑7B‑v1

• 官方來源：NVIDIA Research Labs項目頁面（https://research.nvidia.com/labs/adlr/personaplex）。
• 試聽語音：
• 示例1: Assistant Demo Audio ⁠–⁠ 展示一般知識、打斷同自然轉場（左聲道用戶，右聲道PersonaPlex）。
• 示例2: Customer Service ‑ Banking Demo Audio ⁠–⁠ 銀行客服角色扮演示範。
• 示例3: Customer Service ‑ Restaurant Demo Audio ⁠–⁠ 餐廳客服示範。
• 描述：呢啲係官方音頻檔案，可喺NVIDIA頁面直接下載或播放，展示模型嘅實時speech‑to‑speech能力。另外，YouTube影片演示（https://www.youtube.com/watch?v=5_mOTtWouCk）包含更多實時音頻測試。

2. xAI Grok Voice Agent API

• 官方來源：xAI開發者文件（https://docs.x.ai/docs/guides/voice）同xAI新聞頁面（https://x.ai/news/grok‑voice‑agent‑api）。
• 試聽語音：
• 官方Voice Playground: https://console.x.ai/team/default/voice ⁠–⁠ 瀏覽器互動演示，支持實時語音輸入同輸出（需xAI帳戶登錄，免費試用）。
• YouTube官方演示: Grok Voice API Demo with LiveKit ⁠–⁠ 展示情感理解同實時對話音頻。
• 描述：Playground允許直接試聽Grok嘅聲音，支持多語言同工具調用示範。

3. OpenAI gpt‑realtime (基於GPT‑4o)

• 官方來源：OpenAI博客（https://openai.com/index/introducing‑gpt‑realtime）同API文件（https://platform.openai.com/docs/guides/text‑to‑speech）。
• 試聽語音：
• 官方聲音樣本: Voice Sample ‑ Marin ⁠–⁠ 新聲音 Marin 嘅靜態音頻樣本。
• 官方聲音樣本: Voice Sample ‑ Cedar ⁠–⁠ 新聲音 Cedar 嘅靜態音頻樣本。
• YouTube官方演示: Live Demo of GPT‑4o Realtime Conversational Speech ⁠–⁠ 實時對話音頻演示。
• 互動演示: OpenAI.fm ⁠–⁠ 官方互動TTS演示，支持試聽多種聲音（需訪問平台）。
• 另一個演示: Live Demo of GPT‑4o Realtime Translation ⁠–⁠ 實時翻譯音頻。
• 描述：呢啲樣本展示gpt‑realtime嘅自然表達同多模態能力，支持6種預設聲音。

4. Google Gemini Live

• 官方來源：Google AI開發者文件（https://ai.google.dev/gemini‑api/docs/live）同Gemini概述頁面（https://gemini.google/overview/gemini‑live）。
• 試聽語音：
• YouTube官方演示: Gemini Live, Realtime Audio ‑ Voices & Demo ⁠–⁠ 展示聲音同實時互動音頻。
• 另一個演示: How to Use Gemini Live API Native Audio ⁠–⁠ 教學影片，包含音頻樣本。
• 互動演示: Google AI Studio Live Demo ⁠–⁠ 瀏覽器實時試聽（需Google帳戶，支持語音輸入）。
• 描述：呢啲演示突顯Gemini Live嘅低延遲同多模態回應，支持原生音頻。

5. Qwen 2.5 Omni

• 官方來源：Qwen GitHub（https://github.com/QwenLM/Qwen2.5‑Omni）同Qwen部落格（https://qwenlm.github.io/blog/qwen2.5‑omni）。
• 試聽語音：
• Hugging Face Spaces演示: Qwen2.5 Omni 7B Demo ⁠–⁠ 互動演示，支持音頻輸入同實時語音輸出。
• Modelscope Studio演示: Qwen2.5 Omni Demo ⁠–⁠ 另一個互動語音試聽平台。
• YouTube官方演示: Qwen 2.5 Omni Demo ⁠–⁠ 展示多模態輸入同實時音頻回應。
• 描述：演示支持文本、圖像、音頻同視頻輸入，生成實時語音。

6. Moshi

• 官方來源：Kyutai Labs頁面（https://moshi.chat/）同GitHub（https://github.com/kyutai‑labs/moshi）。
• 試聽語音：
• 官方互動演示: Moshi Chat Demo ⁠–⁠ 瀏覽器實時語音對話（限時5分鐘，支持打斷同角色扮演）。
• YouTube官方演示: Moshi Demo ⁠–⁠ 展示實時多模態音頻。
• 另一個演示: Moshi Presentation Video ⁠–⁠ 與論文相關嘅音頻示範。
• 描述：Moshi支持同時思考同講嘢嘅實時互動。

7. Freeze Omni

• 官方來源：VITA‑MLLM項目頁面（https://freeze‑omni.github.io/）同GitHub（https://github.com/VITA‑MLLM/Freeze‑Omni）。
• 試聽語音：
• 示例1: Demo on Mandarin Question Answering ⁠–⁠ 中文問答音頻示範。
• 示例2: Demo on English Question Answering ⁠–⁠ 英文問答音頻示範。
• 示例3: Demo on Prompt Following and Role Play ⁠–⁠ 提示跟隨同角色扮演音頻。
• 伺服器演示: 通過GitHub腳本運行本地demo（需安裝，支持實時語音試聽）。
• 描述：呢啲係靜態音頻檔案，展示Freeze Omni嘅低延遲speech‑to‑speech能力。

如果呢啲連結無法訪問或需要特定權限，請檢查瀏覽器設定或使用VPN。有啲演示可能會因地理位置（例如你喺Auckland, NZ）受限，但以上都係官方來源。

結論

實時LLM模型競爭激烈：PersonaPlex開源且高效，Grok響應速度突出，gpt‑realtime多模態全面，Gemini Live經濟實惠，Qwen Omni多語言能力強，Moshi/Freeze Omni作為基準。選擇要視需求而定：若優先考慮開源，可選PersonaPlex；若要生產級應用，可考慮gpt‑realtime或Gemini。未來多模態融合會進一步優化性能。

▶️ 鍾意呢篇內容？創作真係好辛苦！

歡迎關注我哋嘅 YouTube 頻道：
AI Rosetta

你嘅讚好、訂閱同分享，係對我哋最大嘅支持！🙏

更多AI新聞請訪問：https://www.airosetta.com