2025年12月20日，AI大神Andrej Karpathy在X上发布了2025年LLM回顾的综述文章，对过去一年LLM的重要发展进行了总结。下面为文章摘录：
2025年是大语言模型（LLM）领域强势而多事的一年。这一年来，我们见证了多项技术进步，这些“典范变革”不仅重塑了行业格局，还带来了概念上的惊喜。以下是我个人认为最值得注意的六大转变，这些变化并非渐进式优化，而是对LLM生态的根本性调整。根据斯坦福大学2025年AI指数报告，LLM在这一年的能力提升主要源于新训练范式和应用创新，而非单纯的规模扩张。 这些变革让我对LLM的本质有了更深的认识：它们不是简单的工具，而是新兴智能实体。
1. 基于可验证奖励的强化学习（RLVR）
2025年初，LLM生产流程在各大实验室仍遵循经典路径：预训练（类似于2020年的GPT‑2/3）、监督微调（InstructGPT风格，约2022年）和人类反馈强化学习（RLHF，约2022年）。这一配方稳定可靠，但RLVR的出现彻底改变了游戏规则。 RLVR作为新阶段，通过在可自动验证的环境中（如数学或代码谜题）训练模型，让LLM自发发展出人类似“推理”策略——分解问题、进行中间计算，并探索试错路径。DeepSeek R1论文展示了这些策略的例子，模型学会了回溯和调整，以优化结果。
与SFT和RLHF的短暂微调不同，RLVR允许更长的优化周期，因为奖励函数客观且不易作弊。这消耗了原本用于预训练的计算资源，导致2025年模型规模相似，但RL运行时间大幅延长。根据OpenAI的研究报告，这一变化带来了高性价比的能力提升。 RLVR还引入了“测试时计算”旋钮，通过生成更长推理轨迹控制能力，遵循新的缩放定律。OpenAI的o1（2024年末）是早期示范，但o3（2025年初）标志着转折，用户直观感受到差异。
2. 幽灵 vs. 动物 / 锯齿状智能
2025年，我和行业许多人开始直观理解LLM智能的“形状”：我们不是在“进化动物”，而是在“召唤幽灵”。LLM的神经架构、训练数据、算法和优化压力与人类截然不同，因此产生了独特的智能形式。人类智能优化于丛林生存，而LLM优化于模仿文本、解决数学谜题和获取LM Arena点赞。
在可验证领域应用RLVR后，LLM能力“ spikes”——在这些领域表现出色，但整体呈现锯齿状性能：既是天才多面手，又是易受诱导的“学童”。如一个模型能解决高级数学，却被越狱攻击泄露数据。人类智能呈蓝色平滑曲线，AI智能呈红色锯齿（参考X平台上的流行模因）。
这也导致我对基准测试的信任下降。基准本质上是可验证环境，易受RLVR和合成数据影响。实验室团队常构建基准周边环境，生成“锯齿”覆盖它们，导致“训练测试集”成为艺术形式。2025年基准泛滥，但真实AGI仍遥远。 更多讨论见“Animals vs. Ghosts”、“Verifiability”和“The Space of Minds”系列文章。
3. Cursor / 新一代LLM应用层
Cursor的崛起是2025年最引人注目的现象之一，它揭示了“LLM应用”新层级，人们开始讨论“Cursor for X”。如我在Y Combinator演讲中强调，LLM应用如Cursor在特定垂直领域编排LLM调用：
- 处理“上下文工程”；
- 编排多个LLM调用，形成复杂DAG图，平衡性能与成本；
- 提供领域特定GUI，支持人类介入；
- 提供“自治滑块”控制自动化程度。
2025年辩论焦点是这一应用层的“厚度”：LLM实验室是否会垄断应用，还是留给初创企业空间？我认为实验室将培养通用“大学生”，而应用层将组织它们成专业团队，通过私有数据、传感器和反馈循环部署。
4. Claude Code / 驻留电脑的AI
Claude Code（CC）是2025年首个具有说服力的LLM代理示范，它循环使用工具和推理，进行扩展问题解决。更重要的是，CC运行在本地电脑，与用户环境、数据和上下文互动。 OpenAI的codex努力聚焦云端容器，而CC优先本地化，包装成简洁CLI形式。这改变了AI互动范式：不再是访问网站，而是“驻留”电脑的“小幽灵”。
这一转变符合LLM作为新计算范式的观点：在缓慢起飞的世界，本地代理更实用。
5. Vibe Coding
2025年，AI跨越门槛，仅用英语就能构建复杂程序，代码本身被遗忘。我在推文中戏称“vibe coding”，没想到它走这么远。 Vibe coding让编程大众化，非专业人士也能参与。这逆转了技术扩散模式：普通人受益更多，而非专业人士或企业。
专业人士也能写更多原本不会写的软件。我用vibe coded自定义BPE tokenizer、项目如menugen和llm‑council，甚至临时应用调试。代码变得免费、可塑、一次性。Vibe coding将重塑软件景观，改变岗位描述。
6. Nano Banana / LLM GUI
Google Gemini Nano Banana是2025年最具变革性的模型之一。它暗示LLM GUI的到来：聊天像1980s控制台，但人类偏好视觉空间信息，因此需要GUI。 LLM应以图像、信息图、幻灯片、白板、动画和Web应用回应。早期如表情和Markdown，但Nano Banana融合文本生成、图像生成和世界知识，预示未来。
TLDR：2025年LLM激动人心。它们同时远超预期聪明和愚蠢，但极具潜力。行业仅实现10%潜力，领域宽广。我相信快速进步与大量工作并存。系好安全带。
▶️ 喜欢这篇内容？创作真的很辛苦！
欢迎关注我们的 YouTube 频道：
AI Rosetta
你的点赞、订阅和分享，是对我们最大的支持！🙏
更多AI新闻请访问：
https://www.airosetta.com