코딩 에이전트 추론 비용 64%, 실패한 실행에서 나갔다
In 27,280 coding agent runs, 64% of inference spend went to runs that failed
Runta가 Baseten과 함께 27,280회의 에이전트 실행과 830억 토큰을 투입해 22개 harness와 5개 모델을 비교한 FrontierHarness Eval v1.1을 공개했다. 모델을 바꾸면 harness도 바꿔야 한다는 게 핵심 결론이다. 모델별 최적 harness가 모두 달랐고, 비용 순위도 크게 요동쳐 Codex CLI는 GLM-5.3에서 1위였지만 Kimi-K3에서는 16위로 밀렸다. 모델을 고정해도 harness에 따라 작업당 비용이 최대 5배까지 벌어졌다.
모델을 고정한 상태에서 harness에 따른 비용 차이는 1.8배에서 5.0배에 이른다.
HN 토론
109- seizethecheese
여기 제목이 혼란스럽네요. 그들은 터미널 벤치 작업에서 여러 하네스와 에이전트 조합을 실행했고, 지출의 64%가 터미널 벤치 검증기를 통과하지 못한 작업에 쓰였습니다.
이것이 벤치마크에 선택된 모델들에 비추어 놀라운 일이어야 하는지 불분명합니다. 저는 그렇지 않다고 생각하며, 제목은 "AI에 돈 낭비" 추천을 받기 위해 쓰인 것 같습니다.
수정: 그들이 제목을 바꿨네요. 프론트 페이지에 오른 제목은 "N개의 에이전트 실행에서 에이전트 비용의 64%가 실패한 실행에 쓰였다" 같은 것이었습니다.
수정2: 링크 품질이 좋지 않아서, 이 블로그 글의 27k 대신 927k 에이전트 실행을 사용해 이 질문들 중 일부에 직접 답해보려 했습니다: https://micjm.com/blog/on-model-harness-interactions/. 요점: 하네스 x 모델 상호작용은 많지 않습니다. OpenAI 모델이 선호도를 보이는 것 같긴 합니다.
- Zigurd
코딩 에이전트의 성능 때문에 두 방향으로 끌리는 자신을 발견합니다: 첫째, 짧은 목줄에 묶어두는 것이 합리적으로 보입니다. 실패 결과를 자주 겪지는 않습니다. 코딩 에이전트를 처음 사용하기 시작했을 때, 이는 합리적일 뿐만 아니라 많은 환각적 괴이함을 겪지 않기 위해 필수적이었습니다. 둘째, 그러나 특정 방향으로 어렴풋이 손을 흔들면 수동으로 코딩했을 때 들였을 노력보다 객관적으로 더 나은 사용자 인터페이스와 비즈니스 로직을 얻을 수 있다는 것은 꽤 멋집니다. 코딩 에이전트를 조심스럽게 사용할 때마다, 요리를 맡기지 않음으로써 무엇을 놓치고 있는지 궁금해집니다.
- cpeth
제가 본 하네스들은 모두 꽤 단순한 루프입니다; 별 내용이 없습니다.
Claude Code와 Copilot에서 Claude Opus 5.5를 정기적으로 사용하는 사람으로서, 하네스는 전반적인 성능과 행동에 거의 중요하지 않다고 말하고 싶습니다. Opus는 두 하네스에서 거의 동일합니다. 반대도 마찬가지입니다. Copilot을 Gemini 4 Argon 같은 것으로 바꾸면 같은 하네스에 있음에도 완전히 다릅니다.
그냥 약간의 일화일 뿐입니다.
- xyzzy_plugh
저는 이 프레이밍이 마음에 들지 않습니다.
주어진 모델에 대해 최고의 하네스는 문제에 따라 다릅니다. 모델이 점점 더 유능해짐에 따라, 하네스가 모델보다 더 중요해 보입니다. 이는 아마도 논란이 될 수 있지만 설명하겠습니다.
제 문제 대부분은 특정 도구와 프로그래밍 언어를 사용하는 단일 도메인에 있습니다. 저는 그날그날의 모델에게 문제를 해결하는 데 필요한 특정 도구를 제공합니다. 임의의 스크립트나 프로그램을 실행하도록 허용하지 않습니다(정말로 시도하면 할 수 있지만). 제한된 호출 횟수를 주고 그 정보를 다시 피드백합니다(예산). 같은 하네스를 사용하여 다른 모델에게 작업을 넘기도록 합니다. 모든 것에 예산을 주고, 추적 및 강제되지만 실제는 아니며 다른 시점에 보충됩니다.
이 맞춤형 전문화 하네스는 이러한 작업에서 다른 주류 하네스를 완전히 압도합니다. 상당히 빠르고, 저렴하고, 더 정확합니다.
하지만 이 하네스로 모바일 앱을 만들거나 영화를 만들 수는 없습니다.
이 테스트들도 같은 일을 하고 있습니다. 소수의 시나리오를 측정합니다. 그것들이 내 필요에 매핑되는지 쉽게 알 수 없습니다. 제 경험상 매우 소수가 그렇습니다.
이 범용 하네스들이 내 문제를 해결할 수 있나요? 네, 모델이 오랫동안 돌아가고 많은 토큰을 태우도록 기꺼이 허용한다면요. 하지만 그것은 지속 가능한 관행처럼 느껴지지 않습니다.
어쩌면 내가 너무 이른 것일 수도 있고, 이런 식으로 하네스를 최적화하기에는 시기상조일 수도 있지만, 저는 동료들보다 적은 토큰을 쓰고 훨씬 더 많은 일을 해내고 있으며, 그것이 중요합니다.
- bisonbear
멋진 결과이고 토큰이 하네스 능력 평가에 투자되고 있어서 기쁩니다.
하지만 테스트에 의해 결정되는 이진 0/1인 평가의 통과/실패와, 사용자가 조종하고 코드 리뷰를 실행하며 테스트 통과/실패 이상을 신경 쓰는 실제 사용 간의 상관관계에 대해서는 망설여집니다.
저는 코딩 에이전트의 "성공"을 결정하는 문제에 대해 글을 썼는데, 많은 부분이 에이전트가 테스트를 통과하는 멍청한 코드를 작성하고 테스트를 실패하는 똑똑한 코드를 작성할 수 있다는 사실로 귀결되며, 우리는 단지 홀드아웃 테스트에 대한 신호(여전히 중요하지만!)보다 코드 품질과 의도와의 정렬을 보상하는 쪽으로 전환해야 합니다.
- alok-g
진심으로 묻습니다: 왜 Kilo code(https://kilo.ai)가 이 분석과 대부분의 유사 분석에 없나요? HN에서 일반적으로도 많이 언급되지 않습니다.
- zodwick
같은 연구소의 자체 하네스와 모델 사이에 상관적 개선이 있는지 궁금합니다.
예를 들어 Codex가 CC와 다른 모든 하네스와 다른 줄 번호 형식을 가지고 있어서 성능을 최대화하기 위해 두 가지 형식 도구를 가져야 했던 기억이 납니다.
그런 것이 여전히 존재하는지, 아니면 이제 가능한 모든 조합에 대해 RL을 하는지 궁금합니다.
- ford
분명히 하자면 - 여기서 "실패"는 "주어진 벤치마크 작업에서 모든 통과 기준을 충족하지 못함"을 의미하며, "런타임 실패를 겪음"이 아닙니다.