2026年5月11日，MIT何愷明（Kaiming He）團隊喺arXiv發表論文《ELF: Embedded Language Flows》，提出一種全新嘅連續擴散語言模型（Continuous Diffusion Language Model）。核心模型ELF-B只用105M參數、喺45B訓練token上訓練、用32步採樣，喺OpenWebText基準將生成困惑度（Generative Perplexity）壓低到24，明顯超越多款主流離散同連續擴散語言模型（DLM），包括MDLM、Duo、FLM同LangFlow等。呢項成果即刻引起業界關注，被視為擴散模型喺語言領域嘅一個重要突破，亦為挑戰GPT式自回歸主導地位提供新路徑。

何愷明作為ResNet、MAE（Masked Autoencoders）等電腦視覺經典工作嘅提出者，今次成功將視覺領域成熟嘅擴散與流匹配技術遷移到語言生成，充份顯示跨領域研究嘅強大創新力。

ELF核心創新：由「離散」到「連續嵌入空間」

傳統擴散語言模型（DLM）多喺離散token空間操作，面臨梯度不連續、採樣步數多等問題。ELF嘅核心創新係將擴散過程主要放喺連續嵌入空間，直到最後一步先用共享權重嘅網絡映射返離散token。

具體設計包括：

基於連續時間流匹配（Continuous-time Flow Matching）：喺嵌入空間做平滑嘅流轉換，避免離散噪聲預測嘅複雜性。
共享權重去噪-解碼器：大幅減少參數量（ELF-B由潛在嘅148M降到105M）。
上下文條件注入（In-context Conditioning）：高效整合時間步、CFG尺度等條件，唔需要額外嘅 adaLN-Zero 模組。
分類器自由引導（CFG）：直接承襲圖像擴散成熟技術，提升生成質量同可控性。

實驗顯示，ELF-B喺相同計算預算下，生成質量同多樣性均優於參數量更大嘅基線模型。團隊亦測試咗ELF-M（342M）同ELF-L（652M），證明模型有良好可擴展性——規模放大時生成困惑度進一步下降，同時文本多樣性提升。

訓練數據解析：45B tokens嘅構成與高效利用

ELF模型嘅訓練數據規模係45.2B tokens，遠低於主流大語言模型動輒數千億到數萬億token嘅規模。其數據主要來源係經典嘅OpenWebText（OWT）數據集。

具體構成如下：

OpenWebText原始規模約9.04B tokens，主要包含Reddit上高讚連結對應嘅網頁文本，包括新聞、論壇討論、博客文章、百科式內容等，屬於質量相對較高嘅通用互聯網文本。
團隊喺該數據集上做咗5個epochs（完整遍歷5輪）訓練，因而達到45.2B tokens嘅有效訓練量。

點解ELF只用45B tokens就可以取得領先，而主流LLM要幾千億甚至幾十萬億tokens？

呢個係ELF論文最值得關注嘅亮點之一，主要原因包括：

任務目標差異：ELF專注於無條件文本生成任務（由噪聲生成連貫自然文本），唔係追求通用智能、指令跟從同複雜推理，因此對數據量嘅需求遠低於需要掌握海量世界知識嘅自回歸LLM。
架構效率革命：連續嵌入空間 + Flow Matching 呢種設計大幅提升數據利用效率。傳統離散擴散模型通常需要500B+ tokens先到較好效果，而ELF只用大約1/10嘅數據就能超越。
小模型特性：ELF-B僅105M參數，小規模模型本身對數據量需求較低，加上共享權重等優化，進一步放大數據效率。
實驗設定聚焦：論文目標係