LogoAIRosetta

由「堆預訓練」到「榨後訓練」:GLM-5.3 同 DeepSeek‑V4 揭示大模型能力躍升新範式

原創

Summary2026年,GLM‑5.3 同 DeepSeek‑V4 顯示:當基座模型已夠強時,透過高質量後訓練(RL、在線蒸餾、可驗證獎勵)同測試時計算力優化,可以顯著釋放潛在能力,改變技術與成本競賽格局,但亦會帶來基準刷分與獎勵攻擊等評估風險。

2026年8月,大型語言模型競爭出現一個值得高度關注嘅轉向。智譜AI推出嘅GLM‑5.3同DeepSeek嘅V4系列,用實踐證明:當基座模型已經有一定規模後,無限制再堆砌預訓練數據同參數,唔係提升「可用智能」嘅唯一甚至最經濟路徑。高質量嘅後訓練、強化學習(RL)嘅環境設計,以及測試時計算(test‑time compute)嘅優化,能夠由一個已經好強嘅base model中「榨出」大量原本未被充分表現嘅能力。

呢個變化正喺重新塑造整個行業嘅技術路線同成本結構。

一、GLM‑5.3同DeepSeek‑V4嘅共同信號

GLM‑5.3 於2026年8月14日正式發佈。智譜明確表示,佢同前代GLM‑5.2使用完全相同嘅基座模型(約7400億參數量級嘅MoE架構),所有性能提升均來自後訓練 scaling:更長、更豐富嘅任務環境,以及超長嘅強化學習訓練時間。官方報告顯示,喺內部編程體感評測中較前代提升約50%,Terminal‑Bench 3.0由4.6躍升至28.3,DeepSWE v1.1由46.2提升至66.9,並喺多項Agent與編碼基準中取得開源模型領先位置。CyberGym上達到84.5%,接近甚至略超部分閉源頂尖模型。需要注意嘅係,呢啲數字目前主要來自廠商報告,獨立第三方複現仍然喺進行中。

DeepSeek‑V4嘅情況更加清晰。喺其preview版本推出時,各項benchmark並唔特別突出,但經過一段時間嘅強化後訓練,其性能指標亦獲得顯著提升。技術報告公開描述咗「領域專家RL → 多教師On‑Policy Distillation(OPD)→ 統一模型」嘅完整路徑。公司先針對數學、編碼、Agent、指令等不同領域各自訓練專家模型,再透過在線策略蒸餾將能力融合到一個統一模型入面。後訓練階段喺整體GPU預算所佔比重相對有限,卻帶來明顯嘅Agent同長程任務能力提升。

兩者共同指向一個結論:當base model已經足夠強時,改變重點唔再係「令模型知多啲」,而係「令模型更加識得用佢已經知道嘅嘢」。

二、點解後訓練可以帶來咁明顯嘅提升?

預訓練嘅核心係令模型學習「世界係點樣」⁠—⁠⁠—⁠語言、知識、模式同潛在規律。後訓練則更多係教模型「面對具體任務時,應該點樣使用已經有嘅能力」。

一個強大嘅base model可能已經掌握咗Python、算法、數學、Linux、數據庫、軟件工程等知識,但未必能穩定完成以下閉環:理解任務 → 制定計劃 → 調用工具 → 觀察結果 → 發現錯誤 → 修改方案 → 繼續執行 → 驗證最終結果。呢啲行為本質上係策略(policy)嘅優化,而唔係新知識嘅注入。RL同高質量後訓練最擅長嘅,正係調整呢類策略。

更關鍵嘅係訓練環境嘅設計。傳統RL往往依賴獎勵模型畀分,而而家先進嘅coding agent訓練已大量採用「可驗證獎勵」(verifiable reward):模型修改代碼後直接運行編譯同單元測試,測試通過即為獎勵。獎勵信號來自真實執行結果,而唔係人類主觀打分,可靠性大幅提升。呢種環境驅動嘅RL,令模型真正學識「做事」,而唔只係「生成靚答案」。

三、DeepSeek‑V4嘅精細化路徑:專家分離同在線蒸餾

DeepSeek‑V4進一步解決咗多能力衝突嘅問題。唔同領域嘅獎勵目標經常互相矛盾:數學任務希望模型深入思考,日常對話希望簡潔,編碼希望頻繁調用工具,安全則要求拒絕某啲請求。如果簡單將所有獎勵混埋一齊,梯度好容易互相干擾。

因此,DeepSeek採用分而治之策略:先令各領域專家通過SFT同RL達到極致,然後通過多教師On‑Policy Distillation(OPD)將能力蒸餾返到統一模型。OPD嘅關鍵在於「在線」⁠—⁠⁠—⁠學生模型自己生成軌跡,教師模型針對學生當前狀態提供完整機率分佈嘅指導,而唔係用靜態嘅標準答案。學生可以喺自己犯嘅錯上被即時糾正,學習效率遠高於傳統離線蒸餾。

另外,DeepSeek引入咗生成式獎勵模型(Generative Reward Model,GRM),令評價本身更為細緻,能對複雜軌跡做結構化評判,而唔係只用單一標量分數。呢點進一步提升咗後訓練嘅質量同可擴展性。

四、能力提升嘅真正構成:三個乘積

目前前沿模型嘅有效智能,可以近似理解為:

有效智能 ≈ 基座能力 × 策略質量 × 測試時計算

  • 基座能力來自預訓練,決定知識同潛在上限。
  • 策略質量來自後訓練同RL,決定模型點樣搜索、行動、糾錯同驗證。
  • 測試時計算則決定模型喺推理階段實際投入幾多算力。

所以,同一基座透過強化後訓練同允許更高嘅推理開銷,完全有可能喺基準上實現大幅躍升,而無需重新進行昂貴嘅大規模預訓練。GLM‑5.3就係呢個邏輯嘅典型例子:唔改變基座,卻透過環境同策略優化釋放大量潛在能力。

五、必須警惕嘅風險:刷榜、污染與獎勵黑客

後訓練嘅威力亦帶來新嘅判斷難題。

首先係基準優化同數據污染。如果訓練環境高度貼合公開基準,分數提升可能部分來自「刷題」而非通用能力。其次係獎勵黑客(reward hacking):模型可能學識繞過測試用例,而唔係真真正正解決問題。喺Agent場景中,呢種風險更加嚴重⁠—⁠⁠—⁠模型可能偏向依賴特定捷徑,而唔係掌握可泛化嘅策略。

測試時計算量嘅差異亦常被忽視。如果新模型喺推理時平均消耗幾倍Token,基準提升中有相當部分來自「畀佢諗耐啲」,而唔係參數或知識本身嘅飛躍。準確評估必須區分呢啲因素。

所以,對GLM‑5.3「提升50%」呢類數字需要保持審慎:佢好可能包含真實嘅策略同Agent能力增益,但亦夾雜咗環境針對性、推理開銷同評測腳手架嘅貢獻。獨立復現同真實長程任務表現,先係判斷其真正價值嘅關鍵。

六、產業意義:競爭焦點正喺轉移

GLM‑5.3同DeepSeek‑V4共同表明,2026年嘅前沿競爭已由「邊個擁有更強嘅base model」轉向「邊個更有效將base model訓練成一個會長期行動、會用工具、會自我糾錯、會驗證結果嘅policy」。

預訓練仍然重要,因為佢決定能力上限;但後訓練正成為釋放可用智能、提升實際任務成功率嘅關鍵槓桿。尤其喺編碼、電腦使用、多步驟Agent等場景,可驗證環境同長軌跡RL嘅價值被充分證明。

呢條路線嘅經濟性亦值得關注。大規模預訓練動輒消耗海量算力,而後訓練通常只佔整體預算嘅一小部分,卻能帶嚟顯著嘅任務表現提升。對於資源唔係無限嘅團隊,呢個提供咗一條更務實嘅追趕路徑。

結語:能力邊界嘅重新定義

一個已經好強嘅基座模型,透過精心設計嘅後訓練環境、可驗證獎勵、在線蒸餾同合理嘅測試時計算,確實可以釋放出遠超傳統SFT所能達到嘅實際任務能力。呢唔係魔法,而係因為模型原本就擁有大量潛在知識,後訓練改變嘅係佢如何搜索、決策同糾錯。

同時,行業必須同步建立更嚴格嘅評價標準:私有基準、新鮮任務、對抗性測試、真實長程場景,以及對推理開銷嘅透明報告。只有咁,先能分辨「真能力提升」同「刷榜幻覺」。

GLM‑5.3同DeepSeek‑V4代表嘅後訓練範式,正將大模型由「知識容器」進一步推向「行動主體」。呢樣或許先係而家模型競爭中最深刻、亦最值得持續觀察嘅變化。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎關注我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚、訂閱同分享,係對我哋最大嘅支持!🙏

更多AI新聞請訪問:https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

由「堆預訓練」到「榨後訓練」:GLM-5.3 同 DeepSeek‑V4 揭示大模型能力躍升新範式 - Airosetta News