같은 모델, 최대 5배 비용 차이… '하네스 세금'의 실체
HarnessTax: How Much Does the Harness Matter for Coding Agents?
UC Berkeley와 Arena 연구진이 Claude Code, Codex CLI, Pi 세 가지 하네스와 7개 모델을 조합한 21개 쌍을 SWE-bench Lite와 Terminal-Bench 2.0에서 평가했다. 하네스 선택은 정확도보다 비용에 훨씬 큰 영향을 미쳤다. 같은 모델이 성공률은 비슷하면서도 최대 5배까지 비용이 달라졌고, Claude Code는 Pi보다 약 2배, Codex보다 1.6배 더 비쌌다. 단순한 오픈소스 하네스인 Pi는 네 가지 도구만으로도 파레토 프런티어에 올랐다. 또한 12개 비교 중 9개에서 모델이 자사 하네스보다 다른 하네스에서 더 높은 성공률을 보였다.
같은 모델이 비슷한 성공률을 훨씬 다른 비용으로 달성할 수 있다. 우리가 테스트한 벤치마크에서 단순한 오픈소스 하네스도 경쟁력이 있으며, 모델은 자체 하네스 밖에서도 잘 작동할 수 있다.