2026年5月11日，MIT何恺明（Kaiming He）团队在arXiv上发布论文《ELF: Embedded Language Flows》，提出一种全新的连续扩散语言模型（Continuous Diffusion Language Model）。核心模型ELF-B仅使用105M参数、在45B训练token上训练，通过32步采样，在OpenWebText基准上将生成困惑度（Generative Perplexity）压低至24，显著超越一批主流离散和连续扩散语言模型（DLM），包括MDLM、Duo、FLM和LangFlow等。这一成果迅速引发业界关注，被视为扩散模型在语言领域的一次重要突破，也为挑战GPT式自回归主导地位提供了新路径。

何恺明作为ResNet、MAE（Masked Autoencoders）等计算机视觉经典工作的提出者，此次成功将视觉领域成熟的扩散与流匹配技术迁移到语言生成，充分展现了跨领域研究的强大创新力。

ELF核心创新：从“离散”到“连续嵌入空间”

传统扩散语言模型（DLM）多在离散token空间操作，面临梯度离散、采样步数多等问题。ELF的核心创新在于将扩散过程主要置于连续嵌入空间，直到最后一步才通过共享权重网络映射回离散token。

具体设计包括：

基于连续时间流匹配（Continuous-time Flow Matching）：在嵌入空间进行平滑流转换，避免离散噪声预测的复杂性。
共享权重去噪-解码器：大幅降低参数量（ELF-B从潜在的148M降至105M）。
上下文条件注入（In-context Conditioning）：高效集成时间步、CFG尺度等条件，无需额外adaLN-Zero模块。
分类器自由引导（CFG）：直接继承图像扩散的成熟技术，提升生成质量和可控性。

实验显示，ELF-B在相同计算预算下，生成质量和多样性均优于参数量更大的基线模型。团队还测试了ELF-M（342M）和ELF-L（652M），证明模型具有良好可扩展性——规模增大时，生成困惑度进一步降低，同时文本多样性提升。

训练数据解析：45B tokens的构成与高效利用

ELF模型的训练数据规模为45.2B tokens，这远低于主流大语言模型动辄数万亿token的体量。其数据主要来源于经典的OpenWebText（OWT）数据集。

具体构成如下：

OpenWebText原始规模约9.04B tokens，主要包含Reddit上高赞链接对应的网页文本，包括新闻、论坛讨论、博客文章、维基百科式内容等，属于质量相对较高的通用互联网文本。
团队在该数据集上进行了5个epochs（完整遍历5轮）的训练，从而达到45.2B tokens的有效训练量。

为什么ELF仅用45B tokens就能取得领先，而主流LLM需要几千亿甚至数十万亿tokens？

这是ELF论文最值得关注的亮点之一，主要原因有以下几点：

任务目标差异：ELF专注于无条件文本生成任务（从噪声生成连贯自然文本），而非追求通用智能、指令跟随和复杂推理。因此其数据需求远低于需要掌握海量世界知识的自回归LLM。
架构效率革命：连续嵌入空间 + Flow Matching的设计极大提升了数据利用效率。传统离散扩散模型通常需要500B+ tokens才能达到较好效果，而ELF仅用约1/10的数据量就实现了超越。
小模型特性：ELF-B仅105M参数，小规模模型本身对数据量的需求较低，加上共享权重等优化，进一步放大了数据效率。