2025年12月5日，Ars Technica 發佈嘅報告指出，手機 NPU 嘅峰值 TOPS、能效同專用算子支援都穩步提升，但呢啲硬件進步並冇直接轉化為用戶端 AI 能力嘅大幅躍升。
文章列舉咗幾項具體阻礙。第一係模型體積同記憶體：即使 NPU 執行矩陣乘法好高效，主記憶體到 NPU 嘅帶寬同片上 SRAM 容量仍然有限。大多數現代 Transformer 模型喺注意力層會產生 O(n²) 嘅中間狀態，導致推理時記憶體佔用暴增。工程團隊經常要將模型裁剪、分段，或者將部分計算放上雲，換嚟延遲、私隱或離線可用性嘅犧牲。
第二係量化同精度嘅折衷。為咗適配手機端，研究者同廠商會用 8 位甚至 4 位量化、蒸餾同剪枝。然而文章指出：喺某啲任務上，呢啲技術會帶嚟明顯嘅質量下降，特別係長上下文、生成式文本或者需要細緻推斷嘅視覺任務。NPU 本身嘅指令集對低位寬運算有優化，但算法層面嘅誤差唔可以單靠硬件去完全彌補。
第三係軟件同算子相容性。NPU 供應商（例如 Apple、Qualcomm、Google 等）嘅 SDK 同驅動各有差異，模型由研究原型移植到實際機型需要大量手工適配、算子融合同自訂核心代碼。Ars Technica 提到，編譯器仍未能普遍自動將高層框架（PyTorch、TensorFlow）入面嘅複雜算子映射成高效嘅 NPU 流水線，令到好多潛在性能喺落地實作時流失。
第四係功耗同散熱限制。手機嘅能耗預算遠低於數據中心，長時間高負載會觸發熱節流。就算 NPU 峰值性能強勁，持續算力仍受限，廠商因此要喺短時爆發同長期穩定之間搵平衡，直接影響連續對話、即時翻譯等場景嘅體驗。
報告亦提出咗一啲正喺嘗試嘅解決方案：結構化剪枝同稀疏矩陣利用、混合精度動態推理、分層執行（部分喺邊緣、部分喺雲端），以及更先進嘅編譯器技術（例如基於 MLIR 嘅算子融合同流水線調度）。另外，模型設計者越嚟越傾向由硬件限制出發做共設計，專門設計適合手機推理嘅架構。
Ars Technica 強調嘅關鍵觀點係：NPU 嘅進步係必要但唔充分。要喺手機上真正用好 AI，需喺模型結構、量化策略、記憶體管理、編譯器同作業系統層面形成協同。對用家嚟講，短期內更多可感知嘅提升可能會嚟自軟件優化同產品級功能整合（例如更快嘅本地語音識別、影像後處理），而唔係淨係睇峰值 TOPS 數字上升。
展望未來，文章認為當硬件、軟件同模型設計真正協同，並喺片上存儲、帶寬、指令集同開發工具鏈上完成統一優化時，手機上嘅 AI 體驗先至會迎來質變。