引言與背景
隨著人工智能（AI）推理任務規模急速擴大，每日處理數十億次查詢已成常態，新型嘅推理同代理工作流進一步推高令牌（token）需求。喺呢個背景下，可靠嘅每次查詢能耗估算變得好緊要，唔單止關乎容量規劃同排放核算，仲會影響效率優先嘅決策。作者Felipe Oviedo喺論文《人工智能推理嘅能耗：效率路徑與測試時計算》（Energy Use of AI Inference: Efficiency Pathways and Test‑Time Compute）指出，好多公開估算存在唔一致同高估問題。呢啲估算經常基於有限基準推斷，忽略咗大規模部署帶嚟嘅效率提升。本文採用自下而上嘅方法，聚焦H100節點上嘅前沿大型語言模型（LLM，參數>2000億），結合實際工作負載、GPU利用率同PUE（電源使用效率）約束，探討能耗基準、測試時計算影響同優化路徑。該論文發表喺arXiv（2509.20241），旨喺為AI系統嘅可持續性提供量化參考，填補現有研究喺生產級場景嘅空白。
論文核心動機係AI推理嘅能耗危機。當前嘅LLM，例如GPT‑4或Llama‑70B，嘅推理需求正呈指數增長，測試時計算（test‑time scaling）會令令牌使用量增加超過15倍，導致能耗急升。傳統估算（例如基於單GPU基準）會高估4–20倍，因為佢哋忽略咗集群級嘅效率優化。Oviedo強調，效率干預唔淨係技術問題，仲係環境同經濟可持續性嘅關鍵——一個每日服務10億查詢嘅部署，其日能耗可達0.8 GWh，若唔做優化，將會媲美網絡搜索嘅耗電量。
研究方法與原理
論文採用自下而上嘅令牌吞吐量方法，由生產級配置出發估算能耗，避免非生產基準帶嚟嘅偏差。方法核心係構建一個端到端模型，整合GPU利用率（現實負載下60–80%）、PUE（數據中心效率係數1.2–1.5）同令牌處理效率（tokens per second, TPS）。
方法步驟：
- 基準配置：以NVIDIA H100節點為硬件基礎（單GPU 80GB HBM3，TPS 100–200），模擬Q4 2025前沿LLM（>2000億參數）。輸入包括短查詢（平均50令牌）同長查詢（測試時計算擴展15倍，750令牌）。
- 能耗計算：每查詢能耗 = (令牌數 / TPS) × GPU功率（700W） × PUE。考慮集群規模（10–1000節點）、GPU利用率同冷卻損失。
- 測試時計算模擬：引入「測試時計算擴展」場景，假設推理工作流令牌增加15倍，評估能耗放大效應。
- 效率路徑評估：量化模型（量化/蒸餾）、平台（調度優化）同硬件（液冷/專用芯片）嘅干預，計算中位減少倍數。
技術原理：
- 令牌吞吐量自下而上：傳統方法（例如基於QPS嘅自上而下估算）會忽略GPU閒置同PUE損失；本方法從實際TPS出發，計算「每令牌能耗」（Wh/token），然後乘以查詢長度。
- PUE約束：數據中心效率係數（PUE=總能耗/IT設備能耗），現實值為1.2–1.5，高於實驗室嘅1.0，會令估算放大10–50%。
- 測試時計算：源自新興代理模型（如ReAct），令牌數量增長約15倍，能耗呈線性增長，但透過優化可實現非線性嘅大幅下降（模型層面可達8–20倍）。
方法具嚴謹性：結果與生產測量一致（例如Google TPU v4集群數據），驗證咗高估問題。
主要結果與分析
論文結果揭示AI推理能耗嘅「冰山一角」：前沿模型中位每查詢能耗為0.34 Wh（四分位距0.18–0.67 Wh），基於H100節點同現實負載。呢個數值遠低於非生產估計（1–10 Wh），顯示被高估4–20倍。喺測試時計算場景下，令牌增加15倍，能耗中位升至4.32 Wh（增幅約13倍），突顯長查詢嘅「能耗黑洞」。
效率路徑量化：
- 模型層面：量化（FP16→INT8）可中位減少1.5–3.5倍，蒸餾可壓縮約20%。
- 平台層面：調度優化（例如動態批處理）可減少約2倍，服務層緩存可降約30%。
- 硬件層面：專用芯片（Trainium2）可減少約5倍，液冷優化約10%。
- 綜合干預：模型+平台+硬件疊加後，能耗可減少8–20倍，測試時計算能耗可降至0.2–0.5 Wh。
系統級模擬顯示：服務10億查詢嘅部署每日能耗約0.8 GWh，若其中包含10%長查詢則增至1.8 GWh；經過優化後可降至0.9 GWh，接近網絡搜索嘅水平。結果強調：測試時計算嘅效率係艦隊級節能嘅關鍵，單一干預嘅效果有限，需全鏈路優化。
討論與結論
論文討論嘅啟示包括：能耗高估主要來自忽略規模效應，喺實際生產部署中，GPU利用率同PUE係關鍵瓶頸。作者將數據中心歷史作比較：互聯網/雲時代透過效率提升抑制住能耗增長，AI推理亦可以借鑑——由QPS（查詢/秒）轉向TPS（令牌/秒）優化。測試時計算導致約13倍嘅增幅提醒我哋，代理工作流雖然強大，但要優先處理效率干預，例如量化加上緩存可以令能耗下降約8倍。
結論呼籲：AI推理能耗管理需要系統性視角，喺模型、平台同硬件協同下可減少8–20倍。作者強調，將效率放喺首位能令AI更可持續，一個服務10億查詢嘅部署，經優化後能耗可控制喺類似網絡搜索嘅水平（約0.9 GWh/日）。未來研究方向包括：動態PUE建模同測試時專用硬件。該文提供咗針對生產級場景嘅量化工具，為綠色AI轉型提供實證基礎。