LogoAIRosetta

AI先驅警告「智能爆炸」:Hinton、Bengio等逾20位專家聯署報告,促請正視AI自我進化加速風險

arXiv

Summary由辛頓、本吉奧等逾20位頂尖專家聯署嘅報告警告:自動化AI研發可能觸發遞歸自我改進同「智能爆炸」,將研發節奏由線性變為指數級加速。報告呼籲政府同產業喺約一年窗口期內加強監管、提升透明同國際協作,防範失控風險。

2026年9月28日前後,一份由諾貝爾獎得主傑弗里·辛頓(Geoffrey Hinton)、圖靈獎得主約書亞·本吉奧(Yoshua Bengio)等逾20位人工智能領域權威聯署嘅報告正式發佈。報告題為《如果自動化 AI 研發觸發智能爆炸會點?》(What if automating AI R&D triggers an intelligence explosion?),聚焦「遞歸自我改進」(recursive self‑improvement,RSI)可能帶來嘅急劇加速風險,呼籲各國政府同產業界盡快採取行動。

詳細情況

報告核心關注係:一旦 AI 系統能夠有效參與甚至主導自身嘅研發流程,技術進步可能由「以人為主導嘅線性節奏」轉變為「AI 驅動嘅指數加速」。作者將呢種情景稱為「智能爆炸」⁠—⁠⁠—⁠本來需要數年先完成嘅 AI 能力飛躍,可能被壓縮到數個月甚至更短時間內出現。

報告指出,自動化 AI 研發(automating AI R&D)係最有可能觸發呢個過程嘅路徑。現時模型已喺一定程度上協助自身技術改進,包括代碼優化、實驗設計同算法探索;一旦系統達到「專家級 AI 研發能力」,組織理論上可以快速部署大量 AI「研究員」,其產出效率遠超人類團隊。報告估算,部分原本需要人類團隊數月完成嘅研發任務,有望喺2028年前後實現高度自動化。

署名作者陣容廣泛,既包括長期呼籲 AI 安全嘅辛頓與本吉奧,亦有來自一線實驗室嘅關鍵人物,如 OpenAI 首席科學家 Jakub Pachocki、Anthropic 聯合創辦人 Jack Clark,仲有微軟嘅 Eric Horvitz 等。呢種跨機構、跨立場嘅合作本身已經傳遞出強烈信號:對遞歸自我改進風險嘅擔憂,已由少數安全研究者擴展到更廣泛嘅技術同產業圈。

辛頓本人喺此前(約9月17日)向美國國會議員閉門簡報後公開表示:「AI 已經到咗能夠設計更好 AI 嘅階段……我哋稱之為遞歸自我改進。除非採取行動,否則佢會失控。我哋需要放慢速度。」佢判斷可用嚟實施有效監管嘅時間窗口可能只得大約一年。報告亦承認存在啲可能延緩爆炸嘅「摩擦力」,包括研究收益遞減、部分任務難以完全自動化,同埋算力限制,但認為現時趨勢已經令呢種情景由「遙遠假設」變成「值得認真準備嘅近期可能」。

可能影響

1. 政策與監管壓力上升

報告直接呼籲政治家「即刻行動」,而唔係等能力進一步躍升。呢點可能促使更多國家加快制定針對前沿模型研發嘅透明度、第三方評估同安全紅線要求。美國國會此前已就嵌入式第三方評估展開討論,報告會進一步強化相關立法呼聲。

2. 產業內部嘅節奏辯論加劇

OpenAI、Anthropic 等實驗室內部早已討論遞歸自我改進嘅時間表同風險。報告公開後,可能促使更多企業主動披露 AI 輔助研發嘅程度,並喺安全投入與能力競賽之間重新權衡。部分實驗室可能會更積極探索自願減速或設立更高安全門檻。

3. 研究與技術路線調整

如果智能爆炸成為主流擔憂,研究重點可能進一步傾向可驗證性、可控性、可中斷性。形式化驗證、對齊技術、長期監控同熔斷機制嘅投入預期會增加。同時,對「AI 是否已喺實質上改進自身」嘅實證評估會更受關注。

4. 國際競爭與安全困境

報告警告,智能爆炸可能嚴重削弱國家、企業與政府內部嘅制衡機制,令技術領先優勢迅速轉化為不對稱權力。如果主要國家未能協調節奏,可能出現「安全困境」⁠—⁠⁠—⁠各方因驚對方領先而唔願單方面放慢。

5. 公眾與學術界認知變化

辛頓、本吉奧等「AI 教父」級人物嘅聯名,令「遞歸自我改進」由相對小眾嘅技術概念進入更廣泛嘅公共討論。呢點有助提升社會對 AI 長期風險嘅認知,但亦可能加劇對技術樂觀主義與末日論之間嘅兩極分化。

6. 科學與經濟嘅雙面性

報告並無否認潛在收益:醫療、科學發現等領域可能因加速而受益。關鍵係,收益同失控風險高度耦合⁠—⁠⁠—⁠同一套自我改進機制,既可能帶嚟突破,亦可能削弱人類對方向同界限嘅掌控。

結語

Hinton、Bengio 等逾二十位專家嘅聯合報告,將「AI 自我進化加速」由理論討論推向政策同產業嘅現實議程。佢並唔話智能爆炸必然會發生,但強調:一旦自動化 AI 研發跨越關鍵閾值,人類可能失去用傳統節奏去理解、驗證同控制技術進步嘅能力。對決策者嚟講,呢意味住要喺窗口仍然存在時建立更強嘅外部約束同國際協調;對產業嚟講,則要喺激烈競爭中重新檢視「更快」同「更可控」嘅優先次序。遞歸自我改進是否真係臨近,仍有待觀察,但報告傳遞嘅緊迫感,已令呢個問題成為2026年下半年 AI 治理討論嘅核心議題之一。

▶️ 鍾意呢篇內容?創作真係好辛苦!

歡迎關注我哋嘅 YouTube 頻道:
AI Rosetta

你嘅讚好、訂閱同分享,係對我哋最大嘅支持!🙏

更多 AI 新聞請訪問:https://www.airosetta.com

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

AI先驅警告「智能爆炸」:Hinton、Bengio等逾20位專家聯署報告,促請正視AI自我進化加速風險 - Airosetta News