引言与背景
随着人工智能（AI）推理任务的规模急剧扩张，每日处理数十亿次查询的现实已成为常态，新兴的推理和代理工作流进一步推高了令牌（token）需求。这一背景下，可靠的每查询能耗估计变得至关重要，不仅关乎容量规划和排放核算，还直接影响效率优先级的决策。作者Felipe Oviedo在论文《人工智能推理的能耗：效率路径与测试时计算》（Energy Use of AI Inference: Efficiency Pathways and Test‑Time Compute）中指出，许多公开估计存在不一致和高估问题。这些估计往往基于有限基准推断，忽略大规模部署的效率提升。本文采用自下而上的方法，聚焦H100节点上的前沿大型语言模型（LLM，参数>2000亿），结合现实工作负载、GPU利用率和PUE（电源使用效率）约束，探讨能耗基准、测试时计算影响及优化路径。该论文发表于arXiv（2509.20241），旨在为AI系统的可持续性提供量化参考，填补现有研究在生产级场景的空白。
论文的核心动机在于AI推理的能耗危机。当前LLM如GPT‑4或Llama‑70B的推理需求正指数增长，测试时扩展（test‑time scaling）令牌使用量增加15倍以上，导致能耗激增。传统估计（如基于单GPU基准）高估4‑20倍，忽略了集群级优化。Oviedo强调，效率干预不仅是技术问题，更是环境和经济可持续性的关键——一个服务10亿查询的部署每日能耗可达0.8 GWh，若不优化，将媲美网络搜索的电力消耗。
研究方法与原理
论文采用自下而上的令牌吞吐量方法，从生产级配置出发估算能耗，避免非生产基准的偏差。方法核心是构建一个端到端模型，整合GPU利用率（现实负载下60‑80%）、PUE（数据中心效率系数1.2‑1.5）和令牌处理效率（tokens per second, TPS）。
方法步骤：
- 基准配置：以NVIDIA H100节点为硬件基础（单GPU 80GB HBM3，TPS 100‑200），模拟Q4 2025前沿LLM（>2000亿参数）。输入包括短查询（平均50令牌）和长查询（测试时扩展15倍，750令牌）。
- 能耗计算：每查询能耗 = (令牌数 / TPS) × GPU功率（700W） × PUE。考虑集群规模（10‑1000节点），GPU利用率和冷却损失。
- 测试时计算模拟：引入“测试时扩展”场景，假设推理工作流令牌增15倍，评估能耗放大效应。
- 效率路径评估：量化模型（量化/蒸馏）、平台（调度优化）和硬件（液冷/专用芯片）干预，计算中位减少倍数。
技术原理：
- 令吨吞吐量自下而上：传统方法（如基于QPS的顶向下的）忽略GPU闲置和PUE损失；本方法从实际TPS出发，计算“每令牌能耗”（Wh/token），然后乘以查询长度。
- PUE约束：数据中心效率系数（PUE=总能耗/IT设备能耗），现实1.2‑1.5，高于实验室1.0，放大估算10‑50%。
- 测试时计算：源于新兴代理模型（如ReAct），令牌增15倍，能耗随线性增长，但优化可非线性降幅（模型层8‑20倍）。
方法严谨：结果与生产测量一致（如Google TPU v4集群数据），验证了高估问题。
主要结果与分析
论文结果揭示AI推理能耗的“冰山一角”：前沿模型中位每查询能耗为0.34 Wh（四分位距0.18‑0.67 Wh），基于H100节点和现实负载。 这远低于非生产估计（1‑10 Wh），高估4‑20倍。测试时扩展场景下，令牌增15倍，能耗中位升至4.32 Wh（增13倍），凸显长查询的“能耗黑洞”。
效率路径量化：
- 模型层面：量化（FP16→INT8）中位减少1.5‑3.5倍，蒸馏压缩20%。
- 平台层面：调度优化（如动态批处理）减少2倍，服务层缓存降30%。
- 硬件层面：专用芯片（Trainium2）减少5倍，液冷优化10%。
- 综合干预：模型+平台+硬件叠加，减少8‑20倍，测试时能耗降至0.2‑0.5 Wh。
系统级模拟：服务10亿查询的部署每日能耗0.8 GWh，若其中包含10%长查询则增至1.8 GWh；优化后可降至0.9 GWh，媲美网络搜索。结果强调：测试时效率是舰队级节省的关键，单个干预有限，需全链路优化。
讨论与结论
论文讨论结果的启示：能耗高估源于忽略规模效率，实际生产部署中，GPU利用率和PUE是瓶颈。作者类比数据中心历史：互联网/云时代通过效率提升抑制能耗增长，AI推理可借鉴——从QPS（查询/秒）转向TPS（令牌/秒）优化。测试时计算的13倍增幅警示：代理工作流虽强大，但需优先效率干预，如量化+缓存降8倍。
结论呼吁：AI推理能耗管理需系统视角，模型/平台/硬件协同减少8‑20倍。作者强调，效率优先将使AI可持续，服务10亿查询的部署能耗控制在网络搜索水平（0.9 GWh/日）。未来研究方向：动态PUE建模和测试时专用硬件。该文为AI部署提供量化工具，填补生产级能耗空白，助力绿色AI转型。