코딩 에이전트의 성능은 하네스 설계에 달려 있다
An Empirical Study of Harness Design for Coding Agents
코딩 에이전트의 하네스를 단일 시스템으로 평가하던 기존 연구와 달리, 이 논문은 실행 루프를 고정하고 planning, action space, context management 세 요소만 바꿔 4개 모델, 176개 설정을 SWE-Bench Verified와 Terminal-Bench 2.1에서 비교했다. 컨텍스트 예산이 줄수록 context management의 가치가 커지고, 규칙 기반 생략을 LLM 요약보다 먼저 적용하는 전략이 가장 효율적이었다. planning은 약한 모델엔 정확도 발판, 강한 모델엔 비용 절감 수단으로 작용했고, bash에 능숙한 모델은 bash 전용 인터페이스만으로도 더 낮은 비용을 달성했다.
planning은 약한 모델에게는 정확도 발판에서 강한 모델에게는 비용 절감 수단으로 전환되며, 정확도 변화는 거의 없었다.