2025年12月20日，NVIDIA 研究人員聯同 MineDojo 團隊正式發佈 NitroGen，一個開源嘅視覺—動作（vision‑to‑action）基礎模型。呢個模型專為通用遊戲代理設計，透過處理原始遊戲畫面像素，直接輸出手掣操作，能夠零樣本玩超過1000款遊戲，涵蓋動作RPG、平台跳躍、賽車等多種類型。呢項成果源自 NVIDIA 2017 年愚人節影片「G‑Assist」——一個用 AI 幫你打機嘅玩笑概念，今次透過大規模行為克隆訓練得以「成真」。NitroGen 不但喺遊戲範疇展現通用智能，仲為具身 AI 同機械人學提供可擴展嘅管道，標誌互聯網規模數據驅動嘅代理訓練進入新時代。
NitroGen 嘅誕生解決咗一個核心瓶頸：傳統遊戲 AI 依賴人手標註或者專屬模擬器，數據稀缺且泛化性差。研究團隊利用公開遊戲實況影片（合共 4 萬小時，覆蓋 1000+ 款遊戲），自動提取玩家操作標籤，構建首個互聯網規模視訊—操作數據集。該數據集托管於 Hugging Face（nvidia/NitroGen），包含 3 萬段標註影片、約 150 億幀，每 20 秒一塊以 Parquet 格式存儲操作（17 個按鈕布林值 + 2 個搖桿[‑1,1] 向量）同元資料（如遊戲名、手掣類型、來源 URL）。其中 846 款遊戲超過 1 小時資料，91 款超過 100 小時，15 款超過 1000 小時；動作 RPG 佔 34.9%，平台跳躍 18.4%。
動作提取管道係關鍵創新。全自動流程：從影片採樣 25 幀，使用 SIFT/XFeat 關鍵點匹配定位手掣疊加層（支援 Xbox/PS 等多種類型），裁剪後由混合分類—分割網絡預測搖桿位置同按鈕狀態。為防「作弊」，網絡只由疊加圖像推斷，屏蔽遊戲畫面。質量控制顯示，搖桿相關性 R² 達 0.84，按鈕幀準確率 0.96，與地面真相數據對比驗證可靠。該管道無需人工干預，適用於壓縮 artifact 同透明度變化嘅真實影片，極大降低標註成本。
模型架構基於流匹配 GR00T（源自 NVIDIA 機械人項目），參數規模 4.93 億。輸入 RGB 遊戲幀經預訓練 SigLip2 視覺 Transformer 編碼，輸出經擴散匹配 Transformer（DiT）生成操作序列（21x16 形狀：雙搖桿連續值 + 17 按鈕）。訓練採用純行為克隆（imitation learning），喺大規模含噪聲嘅數據上預訓練，無需報酬或任務目標，模仿語言模型嘅「規模即能力」範式。推理針對 NVIDIA Hopper/Blackwell GPU 優化，支援 Linux/Windows，以 H100 作測試硬件。項目仲提供通用模擬器：用 Gymnasium API 包裝 Windows 遊戲二進制，支援一鍵控制同 rollout 記錄。
性能基準相當醒目。研究搭建多遊戲基準，評估三類任務（每任務 5 次 rollout），覆蓋 3D 動作、2D 俯視/側滾等視覺風格。預訓練模型零樣本即展現非凡能力，例如 3D 戰鬥高精度控制、程序生成世界探索。遷移實驗更顯著：預訓練後於新遊戲微調，任務成功率較從零訓練提升多達 52%；低數據場景（30 小時）平均亦有約 10% 相對改善，證明規模數據能注入通用技能（如導航、戰鬥、解謎）。示範影片展示模型玩《巫師3》、《賽博朋克2077》、《火箭聯盟》等，操作流暢自然。
開源資源相當全面：Hugging Face 提供模型權重（nvidia/NitroGen，非商業 NVIDIA 許可）、數據集、評估套件同程式碼全部釋出。項目頁（nitrogen.minedojo.org）含論文 PDF，詳述方法與結果。合作者包拫 NVIDIA（Loïc Magne、Linxi "Jim" Fan 等）、史丹福（Anas Awadalla）、加州理工（Georgia Gkioxari）等。局限性亦說明得好清楚：專注手掣遊戲（對滑鼠鍵盤類遊戲，如 RTS/MOBA，支援較弱）；噪聲數據可能限制泛化；用家需自備遊戲二進制。
呢次發佈引起熱烈討論。VideoCardz 稱其「讓 G‑Assist 成真」，Tom's Hardware 強調對機械人學嘅啟示：遊戲可以成為豐富嘅模擬器，用來訓練通用具身代理。Reddit 同 X 上嘅討論集中喺其潛力：下一代 NPC、遊戲 QA 自動化，甚至瀏覽器/作業系統代理。Jim Fan 喺 LinkedIn 嘅貼文被廣泛轉發。與 OpenAI SIMA、DeepMind VPT 相比，NitroGen 首創互聯網影片管道，成本低、覆蓋面廣。
NitroGen 嘅深遠影響唔止局限喺遊戲。佢驗證咗「網絡抓取 + 自動標註 + 大規模克隆」嘅可擴展路徑，推動通用代理由實驗室走向現實。未來可結合強化學習或多模態輸入，或者擴展到機械臂控制。NVIDIA 呢一步強化咗其開源領導力，幫助開發者建立下一代 AI 遊戲生態。
▶️ 鍾意呢篇內容？創作真係好辛苦！
歡迎 Subscribe 我哋嘅 YouTube 頻道：
AI Rosetta
你嘅按贊、訂閱同分享，係對我哋最大嘅支持！🙏
更多 AI 新聞請瀏覽：https://www.airosetta.com