本地AI能效新指标：Intelligence per Watt

Intelligence per Watt: Measuring Intelligence Efficiency of Local AI

▲ 168pythonic_hell65 HN 评论区

随着大型语言模型需求激增，中心化云基础设施面临巨大压力。如今，小参数本地LLM配合Apple M4 Max等加速器，已能实现媲美前沿模型的交互性能。研究团队提出了“每瓦特智能（IPW）”这一统一指标，用于衡量本地推理的准确性与能效。通过对20多个顶尖本地模型、8种硬件加速器及100万条真实查询的评估，发现本地模型能准确回答88.7%的问题。从2023到2025年，IPW提升了5.3倍，且本地加速器的能效表现优于云端。这表明，本地推理已具备将大量需求从云端分流的能力，IPW将成为追踪这一转型的关键标尺。

这些发现表明，对于大量查询而言，本地推理能够有效地将需求从中心化基础设施中重新分配，而IPW则是追踪这一转型的关键指标。
阅读原文 →HN 评论区RSS

HN 评论区

65
  1. jmiskovic

    这项研究极其重要。我们已经到了本地 LLM 足够好用的阶段！本地模型执行任务第一步所需的时间，比 Claude 验证登录、把你排进队列并开始下发命令还要短。本地模型具有持久性且 100% 可预测，这是任何云服务都无法比拟的。需求分散化对电力系统更有益。到了冬天，GPU 还能顺便当个 300W 的室内取暖器。更别提避免了个人数据的收集和转卖。

  2. surprisetalk

    我挺喜欢这篇论文的，但我觉得说他们的基准测试衡量了“智能”有些言过其实。

    [0] https://arxiv.org/pdf/1911.01547

    我们根本不知道智能是什么，也不知道该如何衡量它。

    [1] https://taylor.town/crowpower

  3. WASDx

    我最近试着计算历史上的“单位成本智能”，但后来发现智能并不是线性的就停下来了。对于任何有意义的“每 y 个单位 x”，如果你有一个效率减半的系统，只要把

同日更多故事

2026-09-16