27,280回のコーディングエージェント実行で、推論コストの64%が失敗した実行に消えた
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
RuntaがBasetenと組み、22のハーネス構成×5モデル×62タスク×4試行という大規模ベンチマークを実施。モデルを替えるならハーネスも替えるべきだという結論が得られた。同じモデルでもハーネス次第でタスクあたりコストは最大5.0倍変わり、コスト順位の中央値は22中11も入れ替わる。Codex CLIはGLM-5.3では1位だがKimi-K3では16位だった。
モデルを固定しても、ハーネスによってコストは1.8倍から5.0倍変わる。
HNでの議論
109- seizethecheese
ここでの見出しは紛らわしい。彼らはterminal benchのタスクで大量のharnessとエージェントの組み合わせを実行し、支出の64%がterminal benchのverifierを通らなかったタスクに費やされた、ということだ。
これがベンチマーク用に選ばれたモデルに対して驚くべきことなのかは不明だ。おそらくそうではなく、見出しは「AIに無駄金を使っている」というupvoteに媚びるために書かれているのだと思う。
編集:タイトルが変わった。フロントページに上がったときのタイトルは「N回のエージェント実行のうち、エージェントコストの64%が失敗した実行に費やされた」といったものだった。
編集2:リンクの品質が低いので、このブログ記事の27kに対して927kのエージェント実行を使って、これらの疑問のいくつかに自分で答えようと試みた:https://micjm.com/blog/on-model-harness-interactions/ 。要点は、harnessとモデルの相互作用はあまり多くないということだ。OpenAIのモデルには好みがあるように見える。
- Zigurd
コーディングエージェントの性能に関して、自分は二つの方向に引っ張られている。第一に、彼らを短い綱につないでおくのは賢明に思える。失敗した結果を頻繁に得ることはない。コーディングエージェントを使い始めた頃、これは賢明なだけでなく、大量の幻覚的な奇妙さに対処しないためにも必要に思えた。第二に、しかし、ある方向に漠然と手を振るだけで、手動でコーディングするのに費やすはずだった労力から得られたものより客観的により良いユーザーインターフェースとビジネスロジックの両方が得られるのは、かなりクールだ。慎重にコーディングエージェントを使うたびに、調理させておかないことで何を逃しているのだろうと思う。
- cpeth
自分が見た限りでは、harnessはどれもかなり単純なループで、大した中身はない。
Claude CodeやCopilotからClaude Opus 5.5を定期的に使っている者として言うと、全体的な性能と挙動の面ではharnessはほとんど重要ではないと思う。Opusはどちらのharnessでもほぼ同一だ。逆もまた然りで、CopilotをGemini 4 Argonのようなものに切り替えると、同じharnessにいるのにまったく別物になる。
ただのアネクドータルな話だが。
- xyzzy_plugh
この枠組みは好きではない。
あるモデルにとって、最良のharnessは問題に依存する。モデルがますます高性能になるにつれ、harnessはモデルよりも重要になるように見える。これはおそらく物議を醸すだろうが、説明させてほしい。
私の問題のほとんどは単一のドメインにあり、特定のツールとプログラミング言語を使っている。その時々のモデルに、問題を解くのに必要な特定のツールを与える。任意のスクリプトやプログラムを実行させることはない(本当にやろうとすればできるが)。呼び出し回数を制限し、その情報をフィードバックする(予算)。同じharnessを使って、他のモデルに仕事を外注させる。すべてに予算を与え、追跡・強制するが、それは実体のないもので、異なるタイミングで補充される。
このあつらえの専門的なharnessは、これらのタスクにおいて他の主流のharnessを完全に圧倒する。大幅に速く、安く、より正確だ。
しかし、このharnessでモバイルアプリを作ることはできないし、映画を作ることもできない。
これらのテストも同じことをしている。いくつかのシナリオを測定しているだけだ。それが自分のニーズに対応するかどうかは簡単にはわからない。私の経験では、対応するものはごくわずかだ。
これらの汎用harnessは私の問題を解けるか?はい、モデルを長時間回し、大量のトークンを消費することを許容するなら。しかしそれは持続可能な慣行には思えない。
早すぎるのかもしれない、このようにharnessを最適化するのは時期尚早なのかもしれない。しかし私は同僚より少ないトークンを使い、はるかに多くのことを成し遂げている。それが重要なのだ。
- bisonbear
クールな結果だし、harnessの能力を評価するためにトークンが投資されているのは嬉しい。
しかし、テストによって決まる0/1の二値である評価の合否と、ユーザーが舵を取り、コードレビューを実行し、テストの合否以上に気を遣う実世界の使用との相関には躊躇がある。
コーディングエージェントの「成功」を判定する問題について書いたが、その多くは結局、エージェントはテストを通る愚かなコードを書くことも、テストに落ちる賢いコードを書くこともでき、単なるホールドアウトテストでのシグナル(それも依然として重要だが)ではなく、コードの品質と意図との整合性を報いる方向にシフトする必要がある、という点に帰着する。
- alok-g
純粋な疑問なのだが:なぜKilo code(https://kilo.ai)がこれやほとんどの同種の分析に含まれていないのか?HN全般でもあまり話題にならない。
- zodwick
同じラボ自身のharnessとモデルの間に相関的な改善があるのか気になる。
例えば、CodexはCCや他のすべてのharnessとは異なる行番号フォーマットを持っていて、性能を最大化するために他のharnessは二つのフォーマットツールを用意する必要があったのを覚えている。
そういうものが今も存在するのか、それとも今は可能なすべての組み合わせでRLをかけているのか気になる。
- ford
はっきり言っておくと、ここでの「失敗」とは「与えられたベンチマークタスクのすべての合格基準を満たさなかった」という意味であり、「実行時障害が発生した」という意味ではない。