コーディングエージェントの性能を左右するのは、モデルより「ハーネス設計」だ

An Empirical Study of Harness Design for Coding Agents

自律型コーディングエージェントの性能は、モデル能力だけでなく「ハーネス」の設計に大きく依存する。本研究は、実行ループを固定し、planning・action space・context managementの3要素を変化させ、4モデル・176設定をSWE-Bench VerifiedとTerminal-Bench 2.1で評価。コンテキスト管理は予算が厳しいほど有効で、その利益の大半はオーバーフロー防止によること、ルールベース省略をLLM要約の前に置く戦略が最も効率的であること、planningは弱いモデルには精度の足場、強いモデルにはコスト削減として働くこと、bash習熟度が低いモデルには定義済みツールが有効だがbash対応モデルはbashのみで低コストに動くことを示す。軌跡分析がこれらの効果を説明し、モデルと予算に応じたハーネス設計に示唆を与える。