引言

隨著大語言模型（Large Language Models，LLMs）喺全球範圍內廣泛應用，「幻覺」（hallucination）已經成為最受關注嘅問題之一。所謂幻覺，係指模型喺生成文本時輸出咗睇落合理、但實際上錯誤或虛構嘅資訊。呢個問題唔單只影響用戶體驗，喺法律、醫療、科研等高風險場景仲會帶來潛在危害。

2025年9月，OpenAI 發表咗一篇題為《Why Language Models Hallucinate》嘅研究論文，嘗試由訓練目標同評估機制角度系統性解釋幻覺嘅根本原因，並提出減少幻覺嘅新思路。本文會對該論文嘅核心觀點作梳理，並結合學界同業界嘅討論，整理成一篇綜合性綜述。

一、幻覺嘅根本原因：訓練與評估激勵失衡

論文嘅核心觀點係：

幻覺並唔係模型「講大話」或者「邏輯錯誤」，而係訓練同評估機制無意中鼓勵模型去「盲猜」而唔係「承認唔知道」。

1. 訓練目標嘅局限性

而家主流嘅大語言模型，訓練目標係下個詞預測（next‑token prediction）。雖然呢種方法可以學到語言規律，但存在天然問題：

• 當模型面對不確定或者信息缺失時，佢仍然會「盡力生成」一個合理嘅詞，而唔係拒絕作答。
• 呢種「盡力填補」嘅行為喺統計上可以提升似然，但喺事實層面就可能形成幻覺。

2. 評估標準嘅問題

研究進一步指出，現有嘅模型評估體系⁠—⁠⁠—⁠尤其係基準測試（benchmarking）⁠—⁠⁠—⁠往往只關注準確率，而無對「錯誤回答」或「虛構輸出」作出懲罰。

• 如果模型喺 10 題入面答啱 6 題（準確率 60%），即使另外 4 題答得「自信但錯誤」，佢嘅分數仍然唔會好低。
• 相反，如果一個模型答啱 5 題，但對另外 5 題選擇拒答（承認唔知道），佢嘅準確率反而更低。
• 呢種機制會促使模型「冒險猜測」而唔係「謹慎拒絕」。

因此，幻覺喺根本上係由訓練目標同評估方式嘅激勵機制所驅動嘅系統性產物。

二、實證研究：對比實驗揭示矛盾

論文入面提供咗多個對比實驗，展示唔同模型喺「準確率⁠—⁠拒答率⁠—⁠錯誤率」之間嘅權衡。

• 模型A：拒答率 52%，錯誤率 26%。
• 模型B：拒答率僅 1%，但錯誤率高達 75%。

喺傳統準確率指標下，模型B 似乎表現更好，但從實際應用角度睇，佢帶嚟大量錯誤資訊，反而危害更大。

呢個對比凸顯出一個關鍵矛盾：傳統評價體系獎勵「識編造」嘅模型，反而懲罰「誠實謹慎」嘅模型。

三、幻覺嘅統計學本質

OpenAI 進一步將幻覺問題抽象為二分類統計錯誤：

• 當模型面對一個問題時，本質上係喺判斷「是否可以畀出正確答案」。
• 如果佢無法準確分辨「知道」同「唔知道」，就必然會喺部分情況下畀出「睇落合理但錯誤」嘅回答。

論文指出，幻覺唔係偶發嘅 bug，而係統計建模不可避免嘅結果。只要訓練目標仍然係最大化似然，幻覺就會長期存在。

四、應對思路：獎勵「誠實」，懲罰「盲猜」

研究提出，減少幻覺嘅關鍵係改變激勵機制。核心思路包括：

1. 重新設計評估標準

• 唔只考察準確率，仲要同時度量 錯誤率與拒答率。
• 將「適當拒答」納入積極評價，而唔係一味懲罰。

1. 優化訓練目標

• 喺訓練中明確獎勵模型表達不確定性（例如「我唔知道」）。
• 對「自信但錯誤」嘅回答進行懲罰。

1. 應用層面結合外部知識

• 引入檢索增強生成（RAG）、事實校驗器等工具，令模型喺缺乏答案時可以「查找」而唔係「編造」。

通過以上手段，模型喺面對不確定問題時，會較傾向謹慎回答，從而顯著降低幻覺率。

五、學界與媒體嘅反響

呢篇論文一出，就引發學界同媒體廣泛討論。

• 媒體評論（如 India Today）：指出問題關鍵係「模型被訓練成應試者」，佢嘅策略係「永遠答題」，而唔係「識得何時講唔知道」。
• 學界觀點：部分研究者認為，呢點同考試制度入面嘅「減分機制」好相似⁠—⁠⁠—⁠如果答錯要扣分，學生就會更謹慎。同樣道理，語言模型嘅獎勵函數亦需要類似調整。
• 社群討論（如 Reddit）：有人覺得呢個係老生常談，但 OpenAI 嘅貢獻係系統性證明咗激勵機制存在缺陷，並提出明確改進方向。

六、潛在影響與未來展望

呢項研究對未來語言模型嘅發展有深遠影響：

1. 喺安全性層面：減少幻覺代表模型更適合應用喺醫療、法律、科研等高風險領域。
2. 喺訓練範式層面：可能推動業界由「單一準確率」轉向「多維評價體系」。
3. 喺用戶體驗層面：未來模型可能會更常講「我唔確定」，雖然睇落較保守，但喺可靠性上更有價值。
4. 喺產業生態層面：減少幻覺可能會成為下一代模型競爭嘅核心指標，而唔單止係參數規模或推理速度。

結論

OpenAI 呢篇論文提出咗一個關鍵洞見：幻覺唔係偶發錯誤，而係現有訓練同評估體系必然導致嘅副產物。傳統嘅「準確率至上」評估方式無意中鼓勵咗盲猜同編造，導致模型喺事實性任務中屢屢失真。

未來嘅突破唔喺簡單增加數據或參數，而係喺於重新定義「好模型」嘅標準：一個理想嘅模型唔單要盡量正確，亦要喺不確定時學識保持沉默。

換言之，減少幻覺嘅真正解藥，係喺獎勵機制中嵌入「誠實」。