LogoAIRosetta

DualPath:DeepSeek 打破 Agentic LLM 推理嘅儲存帶寬瓶頸,推理吞吐量最高提升 1.96 倍

arXiv

SummaryDeepSeek 喺 arXiv 發表《DualPath》,透過「雙路徑 KV-Cache 載入」同全局調度,打破解耦推理架構嘅儲存帶寬不對稱。在真實 Agentic 工作負載下,離線吞吐最高增 1.87×、在線平均增 1.96×,GPU 利用率接近 80%,為 DeepSeek V4 提供核心支援。

2026年2月25日,中國 AI 初創公司 DeepSeek 喺 arXiv 正式發表論文《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》(arXiv:2602.21548)。該論文由 DeepSeek 核心研究團隊聯合北京大學同清華大學嘅團隊完成,首次系統性針對 Agentic LLM(智能體大語言模型)多輪推理場景下嘅儲存帶寬瓶頸提出解法。DualPath 透過引入「雙路徑 KV‑Cache 載入」機制同全局調度器,成功打破現時解耦式(disaggregated)推理架構中嘅根本不對稱問題,喺真實 Agentic 工作負載下實現離線推理吞吐量最高提升 1.87 倍、在線服務吞吐量平均提升 1.96 倍,且符合 SLO(服務水平目標)。呢項成果被視為 Agentic AI 時代高效推理技術嘅重大突破,亦為即將發佈嘅 DeepSeek V4 提供關鍵技術支撐。

Agentic LLM 推理嘅儲存帶寬瓶頸

論文開首指出,隨住 Agentic LLM 由單輪問答轉向多輪工具調用、長上下文規劃同複雜決策,推理性能瓶頸已由計算轉向 KV‑Cache 嘅儲存 I/O。喺現時主流嘅解耦式推理架構中:

  • Prefill 階段(首次填充 KV‑Cache)需要由外部持久化儲存載入大量 KV‑Cache,造成儲存 NIC 帶寬飽和(論文圖 1 顯示 Prefill 引擎嘅儲存 NIC 利用率接近 100%)。
  • Decode 階段(自回歸生成)幾乎唔消耗儲存帶寬,儲存 NIC 處於閒置狀態。

呢種不對稱導致整體系統吞吐量嚴重受限:Prefill 引擎成為瓶頸,Decode 引擎閒置,GPU 利用率好難超過 40%。作者喺真實 Agentic 工作負載上嘅測量數據(圖 2)顯示,傳統架構嘅 GPU 利用率長期徘徊喺 30⁠–⁠40%,遠低於計算密集型任務通常超過 80% 嘅水平。

DualPath 核心創新:雙路徑 KV‑Cache 載入 + 全局調度

DualPath 提出兩項關鍵創新,徹底打破呢個瓶頸:

  1. 雙路徑 KV‑Cache 載入機制 除咗傳統「儲存→Prefill」路徑,DualPath 新增一條「儲存→Decode」路徑:
  • KV‑Cache 會首先載入到 Decode 引擎嘅本地記憶體(利用 Decode 階段原本閒置嘅儲存帶寬)。
  • Decode 引擎透過 RDMA over Compute Network(計算網絡上嘅遠端直接記憶體存取)將 KV‑Cache 高效傳輸俾 Prefill 引擎。呢個設計充分利用計算網絡嘅高帶寬(論文實驗中使用 8×400Gbps/node RDMA),避免儲存網絡擠塞,同時避免干擾模型執行嘅延遲敏感通訊路徑。論文圖 3 展示咗呢個雙路徑數據流嘅架構對比。
  1. 全局調度器 DualPath 引入一個跨 Prefill 同 Decode 引擎嘅全局調度器,動態平衡兩類引擎嘅負載:
  • 當 Prefill 負載高時,優先將 KV‑Cache 載入到 Decode 引擎並轉發;
  • 當 Decode 負載高時,則切換回傳統路徑。論文表 1 顯示,呢種動態調度令系統整體吞吐量顯著提升。

實驗喺 DeepSeek 自研嘅推理系統上驗證三種唔同規模嘅 Agentic LLM(Llama‑3‑70B、Mixtral‑8x22B、DeepSeek 系列模型),喺真實多輪工具調用工作負載下:

  • 離線推理吞吐量:最高提升 1.87×
  • 在線服務吞吐量:平均提升 1.96×(符合 SLO)
  • GPU 利用率:由約 40% 提升至接近 80%(圖 4 對比曲線)

與現有方法嘅比較與意義

DualPath 同傳統嘅 Speculative Decoding、PagedAttention、Medusa 等方法最大分別係:佢唔依賴模型內部嘅加速技巧,而係由 系統級數據路徑 同 全局調度 切入,直接解決解耦式架構嘅根本不對稱問題。論文表 2 對比顯示,DualPath 喺帶寬受限場景下嘅提升幅度遠超現有方法。

呢項工作對 Agentic AI 實際落地有深遠意義:

  • 喺多輪複雜任務中,推理延遲同吞吐量係核心瓶頸,DualPath 直接提升系統整體效率。
  • 對於企業級部署,DualPath 大幅降低對高端儲存 NIC 嘅需求,減少基礎設施成本。
  • 喺邊緣 AI 場景,雙路徑機制為低帶寬環境提供可行方案。

DeepSeek 嘅策略佈局與未來展望

DualPath 發表嘅時機正值 DeepSeek V4 即將亮相前夕,被視為 V4 推理引擎嘅核心技術預熱。配合 DeepSeek 今年年初發表嘅另外兩篇重要論文:

  • 2026 年元旦發表嘅《mHC: Manifold‑Constrained Hyper‑Connections》:透過流形約束超連接恢復殘差恆等映射,顯著抑制訓練不穩定。
  • 2026 年1月12日發表嘅《Conditional Memory via Scalable Lookup》:提出 Engram 條件記憶模組,作為 LLM 稀疏性嘅新軸,喺 27B 規模實驗中優於 MoE。

呢三篇論文構成完整嘅邏輯鏈:mHC 優化訓練穩定性、Engram 擴展稀疏性、DualPath 革新推理效率。DeepSeek 透過連串基礎性突破,正由消費級多模態模型向高效、可擴展嘅大模型全鏈條能力躍升。

雖然論文冇公開 V4 嘅具體細節,但社區普遍推測 V4 會深度整合 DualPath,作為其 Agentic 推理引擎嘅核心組件。DeepSeek 團隊表示,會喺未來版本逐步開源部分 DualPath 實現,以推動社區協作。

結語

《DualPath》以系統級視角重新定義咗 Agentic LLM 推理嘅性能邊界。佢證明:喺 AI 進入智能體時代,單靠模型優化已不足以突破瓶頸,系統級數據路徑同全局調度嘅創新同樣關鍵。DeepSeek 嘅呢項工作,唔單止為 V4 嘅發布注入強勁技術支撐,亦為全球高效推理技術提供全新範式。

喺 2026 年 AI 算力與效率競賽白熱化嘅時候,DualPath 嘅出現提醒我哋:真正決定勝負,往往唔係參數規模,而係對系統瓶頸嘅深刻洞察同優雅解決。Agentic AI 嘅高效推理時代,或者就由呢度開始加速。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎訂閱我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚好、訂閱同分享,係對我哋最大嘅支持!🙏

更多 AI 新聞請瀏覽: https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

DualPath:DeepSeek 打破 Agentic LLM 推理嘅儲存帶寬瓶頸,推理吞吐量最高提升 1.96 倍 - Airosetta News