SIMA 2（Scalable Instructable Multiworld Agent 2）係 Google DeepMind 喺 2025年11月13日發布嘅 AI 代理模型第二代版本，係 DeepMind 喺通用 AI 代理研究入面嘅一個重要里程碑。佢建立喺 2024年3月 嘅 SIMA 1 基礎上，首次整合同 Google 嘅 Gemini 模型（具體為 Gemini 2.5 Flash‑Lite 變體），將 AI 由單純指令跟隨者轉變為具備推理、對話同自我學習能力嘅「互動遊戲夥伴」。SIMA 2 旨在透過喺虛擬 3D 世界訓練 AI 代理，實現跨環境泛化，並為真實世界機械人（如自動駕駛或家居助理）鋪路。以下基於 DeepMind 官方博客、TechCrunch 同 MIT Technology Review 等權威來源作詳細說明。
模型背景與動機
SIMA 系列源自 DeepMind 對「通用代理」（generalist AI agents）嘅追求：建構能喺任意 3D 環境中執行任務嘅 AI，而唔係針對特定遊戲（例如 AlphaGo 只限圍棋）。SIMA 1（2024年發布）可以透過屏幕觀察同虛擬鍵盤／滑鼠控制學習數百個基本技能，但受限於指令跟隨，無法處理複雜推理。SIMA 2 嘅動機係解決呢個痛點：整合 Gemini 嘅語言／視覺能力，實現「高層次目標理解、複雜推理同目標導向行動」，即使喺未訓練過嘅環境（例如新生成嘅 Genie 3 世界）亦可運作。DeepMind 視之為 AGI（人工通用智能）嘅關鍵一步，支援自我改進循環，最終遷移到機械人。
核心功能與創新
SIMA 2 嘅核心係多模態代理架構，處理文本、語音或圖像輸入，支援實時互動。關鍵創新包括：
- Gemini 集成：Gemini 2.5 Flash‑Lite 作為「大腦」，啟用自然語言解釋（例如「現在我會收集資源，因為目標係建造庇護所」），並處理模糊指令（例如「探索附近」）。
- 自學機制：由人類示範視頻加上 Gemini 生成標籤訓練，切換到「自我導向遊戲」（self‑directed play）：代理會生成任務、試驗錯誤、用 Gemini 反饋迭代數據，形成閉環訓練。無需大量人類數據，就能做到「唔會重複錯誤」。
- 跨環境泛化：喺 9 款遊戲（例如 Goat Simulator 3、No Man's Sky、Valheim）上訓練，能將技能轉移到新環境（例如 Genie 3 生成嘅照片級世界）。任務完成率達 65%（SIMA 1 只係 31%，人類平均 71%）。
- 多模態輸入：文本／語音／圖像，輸出動作加解釋，支援協作（例如用戶中斷時進行對話）。
功能比較表格（SIMA 1 vs. SIMA 2）：
來源：DeepMind 博客。
實驗驗證與性能
DeepMind 喺 600+ 任務上測試 SIMA 2：
- 基準遊戲：Goat Simulator 3（自學新技能，例如「用山羊破壞環境」）；No Man's Sky（探索同資源收集）；Valheim（生存建造）。
- 新環境：結合 Genie 3，從提示生成世界（例如「火山景觀」），SIMA 2 能識別並互動物件（例如長椅、蝴蝶）。
- 性能指標：任務成功率 65%（人類 71%），推理準確率提升 2 倍；自學循環後，錯誤率下降 50%。
- 局限：長多步任務（例如 10 步以上）仍然較弱；記憶窗口有限；3D 視覺解釋存有挑戰（例如遮擋物件）。
影響與未來展望
SIMA 2 被視為 AGI「硬模式」嘅突破：純視覺輸入加實時行動，遠超 GATO（2022 年 DeepMind 多任務代理）。DeepMind 強調，其技能可以遷移到機械人（例如自主導航），Frederic Besse 稱「遊戲係真實世界嘅測試床」。目前限量預覽畀學術同開發者，預計 2026 年會開源部分組件。
TechCrunch 同 MIT Technology Review 評論：SIMA 2「接近人類玩家水平」，但需要解決泛化瓶頸，推動由遊戲向具身 AI 轉型。更多詳情見 DeepMind 博客（https://deepmind.google/blog/sima‑2‑an‑agent‑that‑plays‑reasons‑and‑learns‑with‑you‑in‑virtual‑3d‑worlds/）。