喺人工智能快速發展嘅背景下，大型語言模型（LLM）嘅基準測試已成為評估性能嘅核心工具。然而，2025年11月7日，由英國牛津大學互聯網研究所（Oxford Internet Institute, OII）主導嘅一項國際研究報告指出，現行LLM基準測試嘅方法論存在重大缺陷，445項基準中只有16%採用嚴謹科學方法比較模型。呢份研究喺全球科技界掀起熱議，被視為對AI「進步神話」嘅警示。The Register同The Decoder等媒體報道，報告分析2018–2024年ICML、ICLR、NeurIPS、ACL等頂級會議嘅445項LLM基準，揭示由定義不清到統計偏差嘅系統性問題，質疑例如GPT‑5喺AIME 2025或SWE‑bench上「領先」成績嘅可靠性。
報告《Measuring what Matters: Construct Validity in Large Language Model Benchmarks》由OII研究員Andrew Bean領銜，與瑞士洛桑聯邦理工學院（EPFL）、史丹福大學、慕尼黑工業大學、加州大學柏克萊分校、英國AI安全研究所、魏茨鮑姆研究所同耶魯大學等機構合作完成。研究團隊審閱咗29位專家嘅意見，評估基準嘅「構念效度」（construct validity），即測試是否真係量度到所聲稱嘅能力。結果顯示，27%嘅基準依賴便利取樣（convenience sampling），而非隨機或分層取樣，導致數據偏差；此外，84%嘅基準冇清晰定義要測量嘅現象，容易受到模型污染（contamination）影響——即測試數據可能已經入咗訓練集。Bean喺聲明中強調：「基準支撐咗幾乎所有AI進步嘅說法，但缺乏共享定義同可靠測量，我哋好難判斷模型係真係改進定係淨係喺測試入面表現好。」
呢一發現直接挑戰咗LLM行業嘅「基準競賽」。例如，OpenAI喺2025年GPT‑5發佈會上宣稱，該模型喺AIME 2025（數學）得94.6%、SWE‑bench Verified（編碼）74.9%、MMMU（多模態）84.2%同HealthBench Hard（醫療）46.2%，並聲稱「呢啲提升喺日常使用中都有體現」。但OII研究指出，此類基準往往忽視複雜場景：例如只測試簡單算術，未能預測LLM喺大規模計算上嘅掙扎。報告舉例，基準任務嘅選擇偏向便利性，而非真實世界多樣性，導致微小效應量（effect size 0.18）嘅統計顯著差異，可能出現假陽性（false positives）。The Decoder報道，研究仲發現，以LLM作為評判者嘅基準（closed‑source LLMs）更新頻繁，進一步扭曲結果。
牛津大學互聯網研究所作為英國頂尖社會科學研究機構，此次研究由歐盟資助，旨在填補AI評估嘅「科學空白」。報告作者提出八項建議，包括明確定義測量現象、防範污染、使用統計方法比較模型，並強調「Elo評級只係相對比較，唔係絕對卓越」。呢啲建議同Reddit r/LocalLLaMA社群嘅討論互相呼應，社群用戶質疑Aider基準嘅「飽和」問題（測試數據可能已經訓練模型）。類似觀點喺Medium文章被擴展：基準數據集常包含錯誤（例如醫療或常識推理），導致高分LLM喺公司特定任務中表現失準。
報告喺全球嘅影響好大。The Register指出，基準缺陷會放大AI泡沫風險：2025年AI投資超過5000億美元，當中好多投資係基於「高分神話」。OpenAI等公司倚賴基準去宣傳（例如GPT‑5嘅GPQA 88.4%），但報告警告，呢啲數據可能誤導投資同政策。英國AI安全研究所參與研究，呼籲監管機構（例如歐盟AI法案）將基準有效性納入審查。史丹福合作者補充，2025年LLM代碼生成基準（如HumanEval、MBPP）雖然多樣，但仍容易受污染——arXiv嘅論文分析顯示，LiveCodeBench等動態基準可靠性較高，但覆蓋面仍然不足。
爭議亦隨之而來。OpenAI回應表示，其基準經過內部審計，強調重視「實際使用」而唔係淨係睇分數。Anthropic同Meta表示支持報告，並承諾會改進對Claude同Llama嘅評估。X平台上#LLMBenchmarkFail話題瀏覽超過20萬，用戶@CalAlDhubaib發帖話：「基準好似奧運金牌，但賽道唔公平。」英國科技媒體The Conversation（9月17日）亦延伸討論，指OpenAI研究證明LLM出現數學性「幻覺」係不可避免，基準難以捕捉呢類缺陷。
牛津報告呼籲行業改革：由「分數競賽」轉向「真實效用」評估，例如採用動態基準（如LiveCodeBench）同多模態測試。耶魯嘅合作者預測，2026年新標準會逐步主導，減少假陽性。MarkTechPost嘅指引強調，基準應結合Elo評級、延遲指標同開發者偏好。呢項研究唔單止係學術警鐘，亦係AI可持續發展嘅指引——喺模型參數不斷飆升嘅時候，基準嘅科學性關乎千億甚至萬億投資嘅可靠性。