喺2026年1月15日，中國AI初創公司DeepSeek創辦人兼CEO梁文峰（Wenfeng Liang）再次聯名發表重磅論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（條件內存通過可擴展查找：大語言模型稀疏性嘅新軸）。該論文發佈喺DeepSeek‑AI/Engram嘅GitHub倉庫，由DeepSeek AI團隊同北京大學科研團隊聯合研究，梁文峰同團隊研究員Xin Cheng、Wangding Zeng、Damai Dai、Qinyu Chen、Bingxuan Wang、Zhenda Xie、Kezhao Huang、Xingkai Yu、Zhewen Hao、Yukun Li、Han Zhang、Huishuai Zhang同Dongyan Zhao共同署名，繼元旦mHC論文之後又一力作。根據DeepSeek官方GitHub倉庫2026年1月15日更新，呢個模組旨在引入條件內存，做為大語言模型（LLM）嘅稀疏性新軸，實現高效知識查找同推理優化。TechCrunch同日報道話，呢項創新會進一步鞏固DeepSeek喺開源AI領域嘅領導地位，推動2026年邊緣AI嘅落地應用。路透社（Reuters）分析指出，梁文峰連續發表論文反映中國AI企業快速迭代能力，亦預示長推理技術將成為AGI（通用人工智能）競賽嘅關鍵戰場。
論文背景：稀疏性新軸嘅需求
大語言模型喺處理語言任務時，面臨計算同記憶嘅雙重瓶頸。傳統Mixture‑of‑Experts（MoE）透過條件計算擴展容量，但Transformer架構缺乏原生嘅知識查找機制，只能靠計算模擬檢索，導致效率低下。論文開首指出，語言建模涉及組合推理同知識檢索兩大子任務，前者需要動態計算，後者可以透過靜態查找優化。梁文峰團隊觀察到，經典N‑gram嵌入可以現代化為高效O(1)查找工具，特別喺設備端推理中可以紓緩記憶壓力。繼mHC論文解決訓練穩定性後，呢項工作聚焦稀疏性新軸——條件內存（conditional memory），作為對MoE嘅互補。
論文強調，語言嘅異質性（linguistic heterogeneity）要求結構優化：靜態模式（例如命名實體）可以透過內存存儲，釋放計算資源去做複雜推理。VentureBeat報道話，呢個背景源自2025年邊緣AI熱潮，DeepSeek旨喺解決設備端長上下文嘅瓶頸。
Engram模組嘅技術細節：經典N‑gram嘅現代化升級
論文核心係Engram模組，一種條件內存實現，透過可擴展查找將經典N‑gram嵌入現代化。通俗啲講：傳統MoE好似「專家團隊」做條件分工；Engram就好似「智能資料庫」，用O(1)時間快速查靜態知識。
關鍵創新：
- Tokenizer壓縮：經典N‑gram係基於詞頻，但子詞分詞器（例如BPE）導致ID唔連續。Engram預計算投射函數φ，將原始詞表V映射到規範ID V'，減少23%有效詞表大小。
- 多頭哈希檢索：唔直接參數化N‑gram空間（指數級大），而係用K頭哈希函數將上下文映射到嵌入表E_n,k（大小M_n,k為質數）。公式：z_{t,n,k} = φ_{n,k}(g_{t,n})，e_{t,n,k} = E_{n,k}[z_{t,n,k}]。最終內存向量e_t由所有檢索嵌入拼接而成。
- 上下文感知門控：靜態內存易發生碰撞，Engram用當前隱藏狀態h_t作為Query，檢索內存作為Key/Value，透過RMSNorm同sigmoid計算門控α_t = σ((RMSNorm(h_t)^T RMSNorm(k_t)) / √d)。門控輸出~v_t = α_t · v_t，確保語義對齊。
- 卷積增強：用深度因果卷積（kernel size w=4，dilation δ= max N‑gram order）同SiLU激活擴展感受野：Y = SiLU(Conv1D(RMSNorm(~V))) + ~V。
- 多分支集成：與mHC結合，共享Value投影矩陣，但每個分支有獨立Key投影，支持Manifold‑Constrained Hyper‑Connections (M=4)。
論文用系統實現圖說明訓練階段嘅All‑to‑All通信同推理階段嘅主機預取，強調基礎設施感知嘅效率：確定性尋址可實現運行時預取，幾乎零開銷。
稀疏性分配問題與U形縮放定律
論文形式化咗稀疏性分配問題：喺固定參數同FLOPs條件下，點樣喺MoE專家同Engram內存之間分配？佢哋發現U形縮放定律：純MoE（ρ=1）未必最優，當約20–25%資源分配畀Engram時性能最佳。喺27B參數實驗中，Engram優於MoE基線：MMLU +3.4、CMMLU +4.0、BBH +5.0、ARC‑Challenge +3.7、HumanEval +3.0、MATH +2.4。
機制分析：Engram釋放咗早期層嘅靜態重構，令網絡深入做推理；委托局部依賴釋放注意力容量，長上下文檢索提升明顯（Multi‑Query NIAH 97.0 vs 84.2）。
實驗結果：大規模預訓練驗證
論文訓練咗四個模型：Dense‑4B、MoE‑27B、Engram‑27B同Engram‑27B‑Hybrid。喺1T Token數據集上，Engram‑27B喺知識檢索、推理同代碼領域全面領先。無限內存實驗顯示，嵌入數增加遵循對數線性趨勢，證明Engram嘅可擴展性。
行業影響：邊緣AI嘅加速與全球競爭
呢篇論文嘅影響係多維嘅。首先，推動邊緣AI落地：2026年邊緣AI市場規模預估達1000億美元，Engram低記憶設計會降低部署門檻。其次，強化DeepSeek喺開源領域嘅領導地位：代碼公開會加速社區創新。對環境方面：設備端高效可降低能耗，IEA報告稱AI用電2026年達1000 TWh，Engram可節省約20%。
對中美AI競爭：DeepSeek嘅快速迭代挑戰美國巨頭。Reuters分析指，2026年中國開源模型可能佔全球約30%份額。
挑戰包括兼容性：算法需適配多樣硬件，中小公司難以優化。監管壓力亦有上升趨勢：歐盟AI法案要求邊緣AI透明化。
結語：梁文峰嘅創新遺產與AI新紀元
梁文峰連續發表論文，鞏固咗DeepSeek喺開源領域嘅領袖地位。mHC同Engram分別攻克訓練穩定性同設備端推理問題，兩者結合有望推動萬億參數模型嘅高效落地。兩篇論文嘅接連發表，意味住DeepSeek V3.4或4.0逐步成形。呢個節奏唔單止展示中國AI快速迭代嘅能力，亦預示2026年開源AI將重塑全球格局。梁文峰嘅創新遺產，正加速AI從實驗室走向現實。
▶️ 鍾意呢篇內容？創作真係好辛苦！
歡迎關注我哋嘅 YouTube 頻道：
AI Rosetta
你嘅like、訂閱同分享，係對我哋最大嘅支持！🙏
更多AI新聞請瀏覽：https://www.airosetta.com