在2026年1月15日，中国AI初创公司DeepSeek创始人兼CEO梁文峰（Wenfeng Liang）再次联名发表重磅论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（条件内存通过可扩展查找：大语言模型稀疏性的新轴）。这一论文发表于GitHub上的DeepSeek‑AI/Engram仓库，由Deepseek AI团队和北京大学科研团队联合研究，梁文峰与团队研究员Xin Cheng、Wangding Zeng、Damai Dai、Qinyu Chen、Bingxuan Wang、Zhenda Xie、Kezhao Huang、Xingkai Yu、Zhewen Hao、Yukun Li、Han Zhang、Huishuai Zhang和Dongyan Zhao共同署名，继元旦mHC论文后的又一力作。根据DeepSeek官方GitHub仓库2026年1月15日更新，这一模块旨在引入条件内存作为大语言模型（LLM）的稀疏性新轴，实现高效知识查找和推理优化。TechCrunch同日报道称，这一创新将进一步巩固DeepSeek在开源AI领域的领导地位，推动2026年边缘AI的落地应用。路透社（Reuters）分析指出，梁文峰的连续论文发布反映了中国AI企业的快速迭代能力，也预示长推理技术将成为AGI（通用人工智能）竞赛的关键战场。
论文背景：稀疏性新轴的需求
大语言模型在处理语言任务时，面临计算和内存的双重瓶颈。传统Mixture‑of‑Experts（MoE）通过条件计算扩展容量，但Transformer架构缺乏原生的知识查找机制，只能通过计算模拟检索，导致效率低下。论文开篇指出，语言建模涉及组合推理和知识检索两大子任务，前者需动态计算，后者可通过静态查找优化。梁文峰团队观察到，经典N‑gram嵌入可现代化为高效O(1)查找工具，尤其在设备端推理中缓解内存压力。继mHC论文解决训练稳定性后，这一工作聚焦稀疏性新轴——条件内存（conditional memory），作为MoE的互补。
论文强调，语言的异质性（linguistic heterogeneity）要求结构优化：静态模式（如命名实体）可通过内存存储，释放计算资源用于复杂推理。VentureBeat报道，这一背景源于2025年边缘AI热潮，DeepSeek旨在解决设备端长上下文瓶颈。
Engram模块的技术细节：经典N‑gram的现代化升级
论文核心是Engram模块，一种条件内存实例化，通过可扩展查找现代化经典N‑gram嵌入。通俗比喻：传统MoE像“专家团队”条件分工；Engram像“智能资料库”，O(1)时间快速查静态知识。
关键创新：
- Tokenizer压缩：经典N‑gram基于词频，但子词分词器（如BPE）导致ID不连续。Engram预计算投射函数φ，将原始词表V映射到规范ID V'，减少23%有效词表大小。
- 多头哈希检索：不直接参数化N‑gram空间（指数级大），而用K头哈希函数映射上下文到嵌入表E_n,k（大小M_n,k为质数）。公式：z_{t,n,k} = φ_{n,k}(g_{t,n})，e_{t,n,k} = E_{n,k}[z_{t,n,k}]。最终内存向量e_t由所有检索嵌入拼接。
- 上下文感知门控：静态内存易碰撞，Engram用当前隐藏状态h_t作为Query，检索内存作为Key/Value，通过RMSNorm和sigmoid计算门控α_t = σ((RMSNorm(h_t)^T RMSNorm(k_t)) / √d)。门控输出~v_t = α_t · v_t，确保语义对齐。
- 卷积增强：用深度因果卷积（kernel size w=4，dilation δ= max N‑gram order）和SiLU激活扩展接收场：Y = SiLU(Conv1D(RMSNorm(~V))) + ~V。
- 多分支集成：与mHC结合，共享Value投影矩阵，但每个分支有独立Key投影，支持Manifold‑Constrained Hyper‑Connections (M=4)。
论文用系统实施图说明训练阶段的All‑to‑All通信和推理阶段的主机预取，强调基础设施感知效率：确定性寻址实现运行时预取，几乎零开销。
稀疏性分配问题与U形缩放定律
论文形式化稀疏性分配问题：在固定参数和FLOPs下，如何在MoE专家和Engram内存间分配？他们发现U形缩放定律：纯MoE (ρ=1)非最优，分配20‑25%到Engram时性能最佳。在27B参数实验中，Engram优于MoE基线：MMLU +3.4、CMMLU +4.0、BBH +5.0、ARC‑Challenge +3.7、HumanEval +3.0、MATH +2.4。
机制分析：Engram解放早期层静态重构，深化网络推理；委托局部依赖释放注意力容量，长上下文检索提升显著（Multi‑Query NIAH 97.0 vs 84.2）。
实验结果：大规模预训练验证
论文训练四个模型：Dense‑4B、MoE‑27B、Engram‑27B和Engram‑27B‑Hybrid。在1T Token数据集上，Engram‑27B在知识检索、推理和代码领域全面领先。无限内存实验显示，嵌入数增加遵循对数线性趋势，证明Engram的可扩展性。
行业影响：边缘AI的加速与全球竞争
这一论文的影响多维。首先，推动边缘AI落地：2026年边缘AI市场规模达1000亿美元，Engram的低内存设计将降低部署门槛。其次，强化DeepSeek的开源领导地位：代码公开将加速社区创新。对环境：设备端高效降低能耗，IEA报告称AI用电2026年达1000 TWh，Engram可节省20%。
对中美AI竞争：DeepSeek的快速迭代挑战美国巨头。Reuters分析，2026年中国开源模型可能占全球30%份额。
挑战包括兼容性：算法需适配多样硬件，中小公司难以优化。监管压力也增大：欧盟AI法案要求边缘AI透明化。
结语：梁文峰的创新遗产与AI新纪元
梁文峰的连续论文发布巩固了DeepSeek的开源领袖地位。mHC和Engram分别攻克训练稳定性与设备端推理难题，二者结合将推动万亿参数模型的高效落地。两篇论文的连续发表，意味着DeepSeek V3.4或者4.0渐行渐近。这一节奏不仅展示了中国AI的快速迭代能力，还预示2026年开源AI将重塑全球格局。梁文峰的创新遗产，正加速AI从实验室走向现实。
▶️ 喜欢这篇内容？创作真的很辛苦！
欢迎关注我们的 YouTube 频道：
AI Rosetta
你的点赞、订阅和分享，是对我们最大的支持！🙏
更多AI新闻请访问：
https://www.airosetta.com