LogoAIRosetta

Andrej Karpathy 開源項目 autoresearch 初探:AI 代理喺單張 GPU 上自主做流水線訓練研究

GitHub

Summary2026年3月,Andrej Karpathy 喺 GitHub 發佈極簡項目 autoresearch。呢個三檔案倉庫令 AI 代理喺單張 GPU、每次 5 分鐘嘅時間限制內修改 train.py、跑實驗並用 val_bpb 評估,示範低成本自主科研循環可行性。

2026年3月,安德烈·卡帕西(Andrej Karpathy)喺 GitHub 發佈咗佢嘅新項目autoresearch(https://github.com/karpathy/autoresearch)。呢個項目喺 AI 社群好快引起廣泛關注,現時已攞到69.4k星,被視為一個「AI 代理自主做科學研究」嘅極簡但具啟發性示範。項目核心係令 AI 代理喺單張 GPU,針對一條極簡嘅 nanochat(納米聊天)訓練流水線做自動迭代:代理自主修改訓練代碼、跑固定時長嘅實驗、用驗證集嘅 val_bpb 評估,並決定是否保留改動,最終喺無人值守情況下逐步優化模型。

卡帕西喺 README 入面明確講,autoresearch 嘅定位係「最小可行自主研究循環」(minimal autonomous research loop)。整個倉庫淨係得三個核心檔案,設計極簡,但完整實現由代碼修改到實驗評估嘅閉環。呢個項目延續咗卡帕西一貫嘅「極簡主義」風格:用最少代碼、最少算力,展示由人手調參到 AI 代理自主探索嘅研究範式轉變。

項目核心架構:三個檔案構建完整研究循環

autoresearch 嘅實現非常簡潔,但邏輯嚴謹。倉庫只包含以下三個關鍵檔案,代理只被允許修改其中一個:

  • prepare.py:固定不變嘅數據準備腳本。負責下載數據集、訓練 BPE 分詞器、構建 DataLoader 同評估工具。呢個檔案唔會畀改,保障實驗可重複性同公平性。
  • train.py:唯一允許 AI 代理修改嘅檔案。入面包括完整嘅 GPT 式 Transformer 模型定義、Muon + AdamW 優化器組合同訓練循環。呢個檔案係整個項目嘅「實驗場」,代理透過編輯入面嘅超參數、架構細節(例如層數、注意力機制、批大小等)嚟探索優化方向。
  • program.md:輕量級指令集檔,由人類編寫或迭代,用嚟指導 AI 代理嘅實驗策略。例如指示代理「試下增加模型深度並調整學習率」或者「試下新嘅窗口注意力模式」。呢個檔案係人機協作嘅橋樑,人類用佢設定研究方向,代理負責具體執行。

項目採用固定 5 分鐘壁鐘時間預算設計:每次實驗嚴格限制喺 5 分鐘內完成(不包括啟動同編譯時間),訓練完會自動喺驗證集上評估 bits‑per‑byte(val_bpb)指標。呢個設計確保唔同實驗之間有可比性,無論代理改動模型深度、批大小定係優化器,都可以喺相同時間預算下公平比較結果。

整個流程高度自動化:代理會讀 program.md 入面嘅指令,提出對 train.py 嘅修改,運行 uv run train.py,解析日誌入面嘅 val_bpb 指標,判斷有冇改進,然後決定保留或者放棄本次修改。之後進入下一輪迭代。卡帕西表示,一晚(約 8‑10 小時)通常可以完成約 100 次實驗,第二朝研究者只需睇 results.tsv 日誌檔就可以獲得完整實驗記錄同最佳配置。

技術實現細節與設計哲學

autoresearch 喺技術上追求極致簡潔同可審計性:

  • 單檔案編輯原則:代理只得修改 train.py,變更會以 diff 形式呈現,方便人類後續審查同理解。
  • 固定時間預算:避免傳統研究中「跑得耐就好」嘅偏差,逼代理喺有限算力下優化效率。
  • val_bpb 做為核心指標:呢個指標同詞表大小無關,能夠公平比較唔同架構嘅表現。
  • 自包含環境:用 uv 做項目管理工具,依賴少量庫(淨係 PyTorch 等基礎庫),可以喺單張 NVIDIA GPU 上完整運行(已喺 H100 上測試通過)。社群後來亦有人貢獻 macOS(MLX)、Windows 同 AMD 平台嘅適配版本。
  • 日誌與分析:所有實驗結果會記錄喺 results.tsv,配套嘅 analysis.ipynb 用於後續視覺化同統計分析。

卡帕西喺 README 入面反覆強調設計理念:「令 AI 代理好似人類研究員咁工作,但將最沉悶、最重複嘅實驗迭代工作交畀機器。」呢個項目本質上係「AI 做研究」嘅最小可行性驗證,為未來更大規模嘅自主科研管道打下基礎。

項目意義:由人工研究向 AI 驅動研究嘅範式轉變

autoresearch 雖然規模細,但示範意義重大。佢展示咗喺極度受限嘅算力環境(單 GPU、固定 5 分鐘),AI 代理仍然可以透過自主修改代碼實現持續迭代。呢種模式有望擴展到更大模型、更多任務,甚至未來做到完整科研流程自動化。

喺而家 AI 研究成本高企、迭代週期長嘅情況下,autoresearch 提供咗一條低成本驗證想法嘅路徑。卡帕西亦表示,呢個項目係佢探索「AI 代理自主科研」嘅一次小規模實驗,將來可能發展成更複雜嘅多代理協作系統或全自動論文生成管道。

項目發佈後好快獲得社群關注,GitHub 星標急速上升,亦出現多個平台適配嘅 fork,證明佢嘅設計具有強可擴展性。好多開發者視佢為學習 AI Agent 工程嘅最佳實踐個案之一。

結語:極簡入面嘅大視野

autoresearch 用極簡代碼同極低算力門檻,展示咗 AI 代理喺科學研究中嘅潛力。佢唔係一個完整科研系統,而係一粒「種子」⁠—⁠⁠—⁠證明自主研究循環喺技術上可行。卡帕西再次以佢一貫風格:用最少資源去探索最本質嘅問題。

喺 AI 由「輔助工具」向「獨立研究者」演進嘅今日,autoresearch 提供咗一個清晰嘅起點。佢提醒我哋,未來科研可能唔再係人類獨自完成,而會係人機緊密協作、AI 承擔大量重複性工作嘅新模式。隨住更多開發者基於呢個項目進行擴展同改進,AI 驅動嘅自主科研時代或許已悄悄展開。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎追蹤我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚好、訂閱同分享,係對我哋最大嘅支持!🙏

更多 AI 新聞請訪問:https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

Andrej Karpathy 開源項目 autoresearch 初探:AI 代理喺單張 GPU 上自主做流水線訓練研究 - Airosetta News