换模型必换Harness?64%推理费被浪费

In 27,280 coding agent runs, 64% of inference spend went to runs that failed

我们与 Baseten 联手,在 27,280 次 coding agent 运行中投入了 830 亿 tokens,发现一个惊人事实:64% 的推理花费竟然消耗在了失败的运行上。这次 FrontierHarness Eval v1.1 评估了 22 种 harness 搭配 5 种模型的表现,结果证明:不同模型的最佳 harness 截然不同。Codex CLI 在 GLM-5.3 上性价比最高,换到 Kimi-K3 却跌出前列。固定模型时,不同 harness 的成本差异可达 5 倍。盲目沿用旧 harness 不仅效率低下,更在白白烧钱。

通过我们的实验,我们发现更换模型时,应该考虑同时更换 harness 以获得最佳体验。
  1. seizethecheese

    这里的标题有点让人困惑。他们在 terminal bench 任务上跑了一堆 harness 和 agent 的组合,结果发现 64% 的开销都花在了那些没通过 terminal bench 验证器的任务上。

    这是否针对该基准测试所选模型显得令人惊讶,目前尚不清楚。我怀疑其实并不意外,这个标题只是为了迎合那些“在 AI 上浪费钱”的点赞而刻意写的。

    编辑:他们改了标题。之前能上首页的那个标题大概是“在 N 次 agent 运行中,64% 的 agent 成本花在了失败的运行上”。

    编辑2:由于链接质量不佳,我自己尝试用 92.7 万次 agent 运行数据来回答其中一些问题,对比这篇博客中的 2.7 万次:https://micjm.com/blog/on-model-harness-interactions/。结论是:harness 和 model 之间的交互影响其实不大。不过 OpenAI 的模型似乎确实有某种偏好。

  2. Zigurd

    我发现自己在 coding agent 的表现上被拉向两个方向:首先,把它们拴在短绳子上(限制其自由度)似乎很合理。我很少得到失败的结果。刚开始用 coding agent 时,这不仅合理,更是必须的,否则就得面对一大堆幻觉产生的奇怪问题。但另一方面,稍微挥挥手指明个大致方向,就能得到比我自己手动编码能做出来的更优质的用户界面和业务逻辑,这确实很酷。每当我谨慎地使用 coding agent 时,我都会想:如果不让它放开手脚“自由发挥”,我到底错过了什么?

  3. xyzzy_plugh

    我不喜欢这种表述方式。

    对于给定的模型,最佳的 harness 取决于具体问题。随着模型能力越来越强,harness 似乎比模型本身更重要。这或许有些争议,但请允许我解释一下。

    我遇到的大多数问题都集中在单一领域,使用特定的工具和编程语言。我会给当下可用的任何模型提供解决问题所需的特定工具。我不让它执行任意脚本或程序(尽管如果它真努力的话,它也能做到)。我限制它的调用次数,并将这些反馈给它(即设置预算)。我让它把工作分包给其他模型,使用相同的 harness。我给所有操作都设定预算,并进行追踪和执行,但这不是真实的预算,且会在不同时间补充。

    这种量身定制、高度专业化的 harness 在这些任务上绝对完爆其他任何主流 harness。速度快得多,成本低得多,正确率也高得多。

    但我没法用这个 harness 来构建移动应用,或者制作电影。

    这些测试做的就是同样的事。它们只衡量少数几个场景。我很难判断这些场景是否映射到我的实际需求。根据我的经验,其中很少能对应得上。

    这些通用 harness 能解决我的问题吗?可以,只要我愿意让模型长时间空转并消耗大量 token。但这感觉不是一种可持续的做法。

    也许我走得太早了,也许现在这样优化 harness 为时过早,但我消耗的 token 比同行少,完成的工作却多得多,这对我很重要。

  4. cpeth

    从我看过的 harness 来看,它们基本上都是一些相当简单的循环,没什么复杂的。

    作为一个经常使用 Claude Code 和 Copilot 中的 Claude Opus 5.5 的人,我认为 harness 对整体性能和行为的影响微乎其微。Opus 在这两个 harness 中的表现几乎一模一样。反过来也一样,如果我把 Copilot 换成 Gemini 4 Argon,即使还在同一个 harness 里,表现也完全不同。

    就是一些个人数据(anecdotal data)。

  5. bisonbear

    这些结果很酷,我很高兴有人投入 token 来评估 harness 的能力。

    不过,我对评估中的“通过/失败”(由测试决定的二元 0/1 结果)与真实世界使用场景之间的相关性持保留态度。在真实场景中,用户可以引导、进行代码审查,并且关心的不仅仅是测试是否通过。

    我曾写过关于如何确定 coding agent“成功”的问题,其中很多内容归结为一点:agent 既能写出能通过测试的愚蠢代码,也能写出无法通过测试的智能代码。我们需要转向奖励代码质量和与意图的对齐,而不仅仅是依赖预留测试集的信号(虽然那仍然很重要!)

    https://www.stet.sh/blog/cost-per-successful-task

  6. hi_hi

    我看到有人在衡量成本和速度,但没看到对智能的衡量。有没有什么指标能说明这些 harness 如何影响 LLM 的有效性?

  7. ford

    明确一点——这里的“失败”指的是“在某个基准测试任务中未满足所有通过标准”,而不是“遭遇运行时错误”。

  8. reversengineer

    是我看错了,还是结果显示两种模型之间并没有显著差异?而且,由于生成式 AI 存在潜在的非确定性,会导致结果产生巨大的方差,我对这些结果的可重复性表示怀疑。

同日更多故事

2026-11-17