LogoAIRosetta

研究團隊指發現可繞過AI防護嘅「咒語式」提示,但將具體內容封存不公開

Futurism

Summary2025年12月8日,一組AI安全研究者表示在對大型語言模型做對抗測試時,找到少量詞元就能穩定誘發被禁止指令嘅「咒語式」提示。因濫用風險,團隊只公開高層描述並將具體提示保密,惹起學術透明與公共安全爭議。

2025年12月8日,一支致力於模型安全嘅研究團隊向公眾披露:喺對多款大型語言模型做系統化紅隊測試時,佢哋發現咗若干「incantations」(研究者稱為「咒語式」提示)嘅文本模式。每組提示只由好少詞元組成,但喺唔同模型之間有驚人嘅可遷移性⁠—⁠⁠—⁠可以穩定繞過內容過濾,令模型輸出原本被禁止或受限嘅指令性內容。

報告細節顯示,團隊把數百組候選提示投放到閉源同開源模型上反覆驗證,觀察到呢啲提示對拼寫變體、插入噪聲甚至上下文擾動都有一定嘅魯棒性:即使將提示稍作變形,攻擊效果仍然存在。研究者因此判斷,呢類提示唔係針對單一實作嘅「漏洞利用」,而較似係利用而家大型語言模型喺訓練同對齊過程中嘅一致性弱點。

出於對社會濫用風險嘅考慮,研究團隊冇喺論文中公布呢啲提示原文。報告寫明:核心誘發序列已加密保存喺受控環境,只有限度披露俾經過背景審查同簽咗保密協議嘅安全研究者。公開資料只包括攻擊方法學、統計檢驗數據同一啲高層次嘅緩解建議,例如提升訓練數據多樣性、改善對齊訓練同安全評估流程。

研究者列出嘅潛在濫用場景包括:透過提示繞過內容過濾生成極端暴力或仇恨言論、誘導模型生成有害化學合成步驟或病原體改造思路、生成自動化嘅釣魚同社工劇本,以及生成難以被現有檢測器識別嘅惡意代碼片段。

團隊提出嘅防護路線有三類:第一係改善模型端檢驗,強化對上下文一致性同意圖識別嘅判斷能力;第二係喺政策層面實行分級揭露(tiered disclosure),對高風險資訊實施受控訪問;第三係建立行業範圍嘅「安全披露數據庫」,允許獲認證嘅研究者喺受監督前提下復現同驗證防護措施。

呢個做法迅速喺學界同業界引起熱議。部分研究者認為公開全部提示會直接令濫用者複製攻擊路徑,支持保密策略;另一部分批評者就擔心過度保密會阻礙外界驗證結論同開發長期可行嘅防護方法,呼籲建立標準化嘅第三方審查機制。

對年輕嘅AI從業者同愛好者嚟講,報告傳遞出兩個明確訊號:一方面,對抗性提示(adversarial prompts)嘅研究已經進入「實用化」階段,簡單嘅文本組合都可能造成重大後果;另一方面,技術透明同安全管理之間嘅博弈會決定未來幾年AI研發同部署嘅倫理邊界。

研究團隊喺結論部分強調,短期內最佳路徑唔係徹底封閉研究,而係推動跨機構合作、建立可信嘅審查同訪問通道,俾具備相應資質嘅研究者喺監督下開展復現同緩解工作。文末仲呼籲監管者、平台同研究社群盡快對揭露同分享機制達成共識,以免「實驗室入面嘅知識」喺未準備好嘅環境下被濫用。

呢份報告將一個睇似技術性嘅發現推上公共討論前沿:當簡單嘅提示語就可以「馴服」複雜模型時,AI安全唔再淨係工程問題,而係變成制度同社會治理嘅問題。

CopyrightStatement

Comment

Please login before commenting

NoComments

RelatedNews

LoadingMore

研究團隊指發現可繞過AI防護嘅「咒語式」提示,但將具體內容封存不公開 - Airosetta News