喺人工智能領域，Andrej Karpathy 無疑係一位傳奇人物。作為 OpenAI 前高層、前 Tesla AI 總監，亦係斯坦福大學 CS231n 課程嘅講師，Karpathy 一直致力將複雜嘅 AI 技術簡化同普及。去年佢發佈嘅 nanoGPT 項目，透過簡潔嘅程式碼實現 GPT 模型嘅訓練，迅速成為 AI 學習者同研究者嘅必備工具，獲得數萬星標同廣泛讚譽。該項目只用約 300 行代碼重現 GPT‑2 嘅預訓練過程，幫助無數開發者理解大型語言模型（LLM）嘅核心機制。
而家，2025年10月13日，Karpathy 再次出手，推出 nanochat——係 nanoGPT 嘅升級版。項目一公開喺 GitHub 上迅速累積約 1.4 萬星標，喺 X（前 Twitter）、Hacker News 同 Medium 等平台引起熱議。nanochat 已經唔止係預訓練，佢建立咗一個完整嘅端到端 ChatGPT 式管道，包括分詞、預訓練、中間訓練、監督微調（SFT）、強化學習（RL）、推理同 Web UI 互動。Karpathy 本人稱佢係「我寫過最瘋狂嘅倉庫之一」，強調簡潔、最少依賴同高度可 hack。項目喺短短幾日內獲得數萬瀏覽，社區反應熱烈，唔少開發者話呢個會重塑 AI 教育同小型 LLM 研究。
根據 GitHub 倉庫說明，nanochat 嘅目標係提供一個「強基線」棧，用於 Eureka Labs 嘅 LLM101n 課程頂點項目。佢容許用戶喺預算有限嘅情況下（例如 100 美元、4 小時訓練）建立自己嘅 ChatGPT 克隆，喺 AI 民主化潮流中具有里程碑式意義。權威來源如 Marktechpost 報道，nanochat 標誌住微型 LLM 訓練嘅突破，極大降低入門門檻。
項目概述：nanochat 嘅核心特性同創新
nanochat 係一個全棧 LLM 實現，总代碼量約 8000 行，採用 MIT 許可，高度模組化，方便 fork 同修改。與 nanoGPT 只覆蓋預訓練唔同，nanochat 涵蓋整個管道：從數據準備到 Web 服務。關鍵特性包括：
- 分詞器：使用全新嘅 Rust 實現 BPE（Byte Pair Encoding）分詞器，支援高效嘅 token 化處理。測試命令例如 python ‑m pytest tests/test_rustbpe.py ‑v ‑s 以確保可靠性。
- 預訓練：基於 Hugging Face 嘅 FineWeb‑EDU 數據集訓練 Transformer 模型。評估使用 CORE 分數，涵蓋 ARC‑Challenge、ARC‑Easy、GSM8K、HumanEval 同 MMLU 等基準。
- 中間訓練與微調：使用 SmolTalk 數據集做用戶‑助手對話訓練，支援多選題同工具使用。SFT 階段優化聊天能力，RL 階段可選用「GRPO」喺 GSM8K 上強化數學能力。
- 推理引擎：高效嘅 KV 緩存、預填充/解碼，支援 Python 解釋器沙盒工具。CLI 同 ChatGPT 式 Web UI 允許實時互動。
- 評估與報告：自動生成 markdown 報告卡，總結指標並將過程遊戲化。例如 100 美元級模型嘅 SFT 結果：ARC‑Easy≈0.388、MMLU≈0.315、GSM8K≈0.046、HumanEval≈0.085。
模型架構基於 GPT‑like Transformer，可配置深度（如 ‑‑depth=26 或 30）。訓練 FLOPs 約 4e19（100 美元級），相當於同幼稚園小朋友對話嘅水平；擴展到 1000 美元（41.6 小時）則可達到 GPT‑2 或更高。數據來自 Hugging Face，強調開源協作。
相比 nanoGPT，nanochat 擴展咗全棧能力，靈感來自 modded‑nanoGPT，後者引入指標同排行榜。Medium 文章稱其為「大型語言模型訓練嘅黑箱手術刀」，突出其教育價值。
安裝過程：由零開始嘅詳盡指南
安裝 nanochat 比較簡單，主要依賴 PyTorch 同 uv 包管理器。建議喺雲 GPU（例如 Lambda 嘅 8xH100 節點）上運行，成本約 24 美元/小時。
- 準備環境：啟動新 GPU 實例（如 Lambda GPU Cloud）。克隆倉庫：
[code] git clone https://github.com/karpathy/nanochat.git [/code] cd nanochat
- 安裝依賴：用 uv 建立虛擬環境：
uv venv source .venv/bin/activate uv sync
呢個會安裝 PyTorch、numpy 等基本庫，無需額外 pip 安裝。
- 數據準備：下載 FineWeb 同 SmolTalk 數據集 shards：
[code] python -m nanochat.dataset -n 150 # 對於100美元級 [code]
對於更大模型，例如 300 美元級（d26），下載更多 shards：‑n 450。
- 測試分詞器：確保 Rust BPE 正常：
[code]python -m pytest tests/test_rustbpe.py -v -s [code]
如果使用單 GPU 或低 VRAM 裝置，調整 device_batch_size 避免 OOM（Out of Memory）。對於非 CUDA（如 xpu/mps），需手動調整。Hacker News 討論中，使用者分享咗喺 A100 上嘅優化經驗。
使用過程：從訓練到互動嘅端到端體驗
nanochat 嘅使用以 speedrun 腳本為核心，允許一鍵端到端運行。
- 快速啟動（Speedrun）：喺 screen 會話中運行，以記錄日誌：
screen -L -Logfile speedrun.log -S speedrun bash speedrun.sh
按 Ctrl‑A D 脫離，用 tail speedrun.log 監控進度。4 小時內完成 100 美元級訓練，包括基訓、中訓、SFT、RL、評估同推理。
- 查看結果：訓練後，檢查報告：
cat report.md
示例表格顯示各階段指標。
- 啟動 Web UI：啟動虛擬環境後：
[code] python -m scripts.chat_web [code]
訪問 URL（如 http://your‑ip:8000/），可以像 ChatGPT 咁互動。示例提示：「講畀我聽你係邊個」（可能會產生幻覺）、「點解天空係藍色」。支援工具使用，例如執行 Python 代碼。
- 更大模型訓練：修改 speedrun.sh。例如 d26 模型：
[code] python -m nanochat.dataset -n 450 & [code] torchrun --standalone --nproc_per_node=8 -m scripts.base_train -- --depth=26 --device_batch_size=16 torchrun --standalone --nproc_per_node=8 -m scripts.mid_train -- --device_batch_size=16
單 GPU 可省略 torchrun，使用梯度累積。
YouTube 影片示範咗完整過程，強調其娛樂性同教育性。X 用戶分享喺 Hyperbolic GPU 上訓練嘅體驗，成本只係 48 美元。
社區反響與潛在影響
nanochat 發佈後，迅速登上 Hacker News 熱榜，開發者稱佢係「最佳 100 美元 ChatGPT」。Karpathy 喺 X 嘅貼文獲近 2 萬個讚，數百則回覆討論優化潛力。Reddit 用戶懷疑部分內容由 AI 代理編寫，但代碼註釋豐富。LinkedIn 同 Facebook 帖子強調其開源價值，推動 AI 平民化。
喺影響方面，nanochat 可以做為研究工具，類似 nanoGPT 嘅遞歸自我改進基準，成為 AI 從業者最佳實踐伙伴。佢促進小型 LLM 創新，適合邊緣設備同教育用途。Product Hunt 將佢評為熱門產品。
結論：AI 未來嘅微型曙光
nanochat 嘅發佈標誌住 Karpathy 喺 AI 教育領域嘅又一高峰。佢唔單止延續 nanoGPT 嘅簡潔精神，仲擴展到全棧，實現「100 美元 ChatGPT」嘅夢想。儘管項目未完全優化，但其可 hack 性意味住社區驅動嘅改進空間。未來，nanochat 或會成為 LLM 基準，推動遞歸自改進。作為 AI 愛好者，不妨試一試——或者下一個突破就由你嘅 fork 開始。
項目來源：nanochat: https://github.com/karpathy/nanochat?tab=readme‑ov‑file