Harnesses如何决定AI能耗效率

Why harnesses matter for energy (and token) efficiency

作为Neuralwatt的联合创始人，我发现AI代理的能耗效率往往不取决于模型本身，而是由客户端Harness如何构建提示词决定。我们的数据显示，不同Harness的缓存命中率差异巨大，从92%到97%看似微小，却能让预填充工作量相差2.7倍。更关键的是，一旦缓存失效，单次请求的能耗可能翻倍，在长会话中甚至相当于600次普通请求的成本。OpenCode、Pi和omp等开源代理因在提示词中插入时间戳、修改历史记录或调整推理模式，频繁导致缓存断裂。这些看似无害的编辑操作，实际上迫使GPU重新计算大量已缓存内容，造成巨大的能源浪费和延迟。优化Harness的提示词构建逻辑，是提升AI能效最被忽视却最有效的途径。