El mismo modelo de IA puede costar 5 veces más según el harness que uses
HarnessTax: How Much Does the Harness Matter for Coding Agents?
Un estudio de UC Berkeley y Arena evalúa 21 combinaciones de modelo y harness en SWE-bench Lite y Terminal-Bench 2.0. El hallazgo principal: la elección del harness apenas afecta la tasa de éxito, pero puede multiplicar el costo hasta 5 veces. Pi, un harness minimalista de código abierto, resulta competitivo, y en 9 de 12 comparaciones un harness alternativo logra la mayor tasa de éxito. Los autores piden comparar harnesses y no aceptar el predeterminado.
El mismo modelo puede lograr tasas de éxito similares con costos hasta 5 veces mayores.