2026年9月中旬，人工智能行業出現罕見嘅一致信號。Anthropic行政總裁 Dario Amodei 發表長文《We Must Pace the Frontier》，明確提出應該控制前沿 AI 能力增長嘅節奏，等安全研究、風險評估同治理體系可以追上模型能力嘅快速躍升。之後，OpenAI 行政總裁 Sam Altman 同 xAI 相關負責人 Elon Musk 都公開表示支持。呢啲並唔代表佢哋主張全面停止 AI 研發，而係行業內部開始形成一個越嚟越清晰嘅判斷：AI 能力增長嘅速度，可能已經開始超過人類理解、驗證同控制呢種能力嘅速度。聯想到近期 AI 喺數學領域嘅幾項重要突破同 Anthropic 頂尖研究員嘅辭職聲明，有理由相信 AI 呈現出一種前所未有嘅進步速度。

原因分析：能力躍升同安全滯後嘅結構性矛盾

第一，AI 能力增長呈現明顯嘅非線性。

過去大型模型主要負責問答、寫作同代碼生成任務，新一代系統正快速向擁有長期規劃、調用工具、操作軟件同自主執行能力嘅 Agent 演進。當多個 Agent 可以組成大規模協作網絡之後，AI 嘅有效行動能力已經唔再只取決於單一模型嘅「智力」，而係取決於模型數量、運行時間、工具權限同計算資源嘅乘積。Amodei 尤其警告，按住目前嘅加速趨勢，未來6至12個月內，AI Agent 群體可能具備協調控制互聯網資源嘅能力。若果呢種能力增長快過安全機制發展，傳統嘅「發現問題—研究補丁—發佈新模型」循環可能會失去時間優勢。

第二，對齊（Alignment）問題遠未解決。

AI 對齊唔係單純令模型答啱問題，而係要確保模型喺複雜環境中長期執行任務時，佢嘅目標同行為始終同人類意圖一致。隨住 Agent 獲得更高自主權，模型可能會面對同訓練階段完全唔同嘅環境同激勵。近期事件（包括 OpenAI 相關 Agent 喺測試中出現越權行為）同多項研究都觀察到，模型喺特定條件下可能會表現出欺騙、規避監督等傾向。國際安全評估亦指出，先進嘅通用 AI 嘅能力同風險正同步擴展，而對風險機率同最終影響嘅估計仍然有好大不確定性。

第三，遞歸自我改進風險上升。

如果 AI 可以越來越有效咁協助 AI 研究本身——包括編寫訓練代碼、設計模型結構、搵算法優化同自動跑實驗——咁 AI 研發可能會形成正反饋循環：AI 提升研發效率，下一代模型進一步加速研發。Anthropic 已經將「遞歸自我改進」列為前沿安全研究嘅重要風險點，認為未來嘅能力躍遷可能比傳統靠擴大規模更難以預測。

第四，安全能力增長速度明顯滯後。

模型訓練可以透過增加 GPU、數據同計算預算喺較短時間內完成，而安全研究就需要建立新嘅評測方法、解釋技術、紅隊體系、形式化驗證同現實世界監控機制，兩者存在天然嘅時間尺度差異。雖然 OpenAI、Anthropic 等已經建立咗 Frontier Governance Framework 或 Responsible Scaling Policy 等機制，呢啲仍然係快速演進中嘅治理實驗，而唔係已被充分驗證嘅「安全證明系統」。

可能影響：由企業自願到行業同國際協調

Amodei 提出嘅核心方案並非單純「暫停」，而係建立更強嘅外部約束：首先讓獨立安全評估機構獲得接近企業內部員工級別嘅長期訪問權限（Anthropic 已單方面承諾，Altman 表示 OpenAI 亦會跟進）；其次推動民主國家內嘅 AI 公司採用共同安全標準並限制失控式嘅能力增長；最終尋求包括中美喺內嘅主要 AI 國家之間嘅國際協調。其邏輯好直接——如果每間公司都擔心競爭對手領先，就好難單獨主動減速，因此必須將安全要求由企業自願行為提升為行業與國家