AI 코딩 에이전트, 실제 기업 코드베이스에서 최고 성능 38.8%에 그쳐
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
Specific Labs가 비공개 기업 코드베이스에서 프론티어 AI 모델을 평가하는 Real-SWE 벤치마크를 공개했다. Fable 5.1이 38.8% 해결률로 1위를 차지했지만, 10개 작업 중 6개는 해결률이 15% 미만이었다. 실패 원인은 대부분 요구사항 누락과 검증되지 않은 가정 때문이며, 10분 미만 롤아웃의 71.4%가 실패했다. 실제 기업 코드의 99%는 프론티어 모델에 공개되지 않아 분포 외 작업이다.
실제 기업의 토큰 99%는 프론티어 모델로부터 숨겨져 있다.
HN 토론
147- springtimesun
나는 바로 이걸 내 코드베이스로 직접 만들어봤다. 구성은 그렇게 복잡하지 않다. git 히스토리를 변경 직전까지만 남기고, 그 커밋 시점에 에이전트가 필요로 할 모든 것을 샌드박스에 넣고, 규칙을 살짝 수정해서 샌드박스 밖을 탐색하지 않도록 하면 된다. 그러면 에이전트는 동일한 프롬프트(보통 작업을 시작하게 만든 티켓)를 받고, 승인된 PR을 기준으로 채점된다.
가장 시간이 많이 걸리는 건 예시를 찾는 일이다. 내 실제 개발 흐름에서는 티켓 -> PR -> 머지로 깔끔하게 이어지는 경우가 드물고, 훨씬 더 많이 왔다 갔다 한다. 그래서 원래 목표가 원샷(one shot)에서 벗어나는 것이긴 해도, 결국 그 환경을 구성해야 하며, 그렇지 않으면 다른 특정 결과(예: 에이전트가 x를 깨닫고 멈춰서 질문을 던졌는지)를 테스트해야 한다.
시간이 걸리긴 하지만 정말 추천하고 싶다. 이제 새 오픈 모델들을 이 배터리 테스트에 통과시켜서 며칠 안에 과거 모델들과 어떻게 비교되는지 볼 수 있다(로컬에서 돌리는데 느리다). 이걸 통해 'x 모델은 y를 잘하고 z를 못한다'는 내 감각이 분위기(vibes) 수준에서 더 나은 휴리스틱으로 옮겨간다(이것들은 여전히 temp 1로 돌아가는데, 결과를 생각하는 올바른 방식은 휴리스틱이라고 본다). 이게 내 실제 코드와 문제 영역에 근거를 둔 판단이 되게 해준다.
내 테스트에서 얻은 결론: Rails나 프런트엔드 코드베이스에서는 내가 테스트한 대부분의 모델이 유능하고, 사람이 루프 안에 있으면 머지 가능한 PR에 도달한다는 목표를 달성할 것이다. Claude만큼 좋지는 않고, 구독으로 보조금 받은 요금을 내기 때문에 Claude가 여전히 첫 번째 시도를 맡는다. 하지만 리뷰 단계에 층으로 넣기에는 충분히 가치가 있다 […]
- glub
Sol과 Astra가 "검증되지 않은 가정" 지표에서 앞서고 Fable이 그 부분에서 더 낫다는 게 놀랍다.
나는 Fable을 메인 모델로 쓰고 Sol을 매 턴을 지켜보는 어드바이저로 쓴다. Fable은 확인하지 않은, 그냥 거짓인 가정을 던지기를 좋아하고, Sol은 항상 그것을 실제로 검증한 다음 Fable에게 가정하고 있다고 경고한다.
이 짝을 뒤집어서 Fable을 어드바이저로 둬봤다. 그러면 그냥 앉아서 "좋아 보이네"라고만 한다
- prometheus1992
이게 그들이 결국 그 사설 코드베이스들을 OAI, Anthropic 등과 공유했다는 뜻인가? 그리고 ~30%라는 숫자는 내 경험과 맞아떨어진다. 모델들에게 너무 많은 걸 기대하는 내가 미쳐가는 건가 싶었는데, astra를 포함해서 여전히 형편없다. 오늘 아침에도 이슈를 고치는 중에 꽤 사소한 걸 망가뜨려서 보고 충격받았다. 그리고 또 하나, 요즘 벤치마크는 별 의미가 없다.
- lmeyerov
내 직감으로는, 더 좋고 더 큰 '사설' 코드베이스들 중 상당수는 — 적어도 claude code와 codex 측면에서는 — 이 시점에 실제로 사설이 아니다.
조금 다른 영역에서 botsbench.com을 운영하며 얻은 교훈 하나는, 매번 모델 오염(model contamination)을 측정하라는 것이다.
- jstummbillig
GPT-5.6 Sol이 그 목록에서 최하위인 걸 보고 내 반응이 합리적인지 아니면 대부분 감정적인지 가늠해보려 하는데, 판단할 방법이 전혀 없다는 걸 알게 된다.
- skhameneh
이 중에는 합리적인 것도 있지만, 말이 안 되는 것도 있고 결정적인 세부 사항이 빠져 있다(예: 추론 수준(reasoning levels)과 어떤 하네스(harness)를 썼는지).
예를 들어, 나는 Kimi K3가 다른 모델들보다 토큰을 더 많이 쓴다고 봤는데, 순전히 토큰 양 때문에 비용이 두 배로 들었다. 이 경험은 ArtificialAnalysis의 벤치마크와는 맞아떨어지지만, 여기 이것들과는 맞지 않는다.
여기에는 내 경험이나 다른 벤치마크와 맞지 않는 다른 비교들도 여러 개 있다. 여러 측면에서 보면 이게 오히려 이상치(outlier)다.
차이를 사용된 하네스나 추론 수준 같은 것으로 돌릴 수도 있겠지만, 그런 세부 사항은 하나도 공개되지 않았다.
흥미로워 보이긴 하지만, 나는 이걸 진지하게 받아들일 수 없다.
정정: 하네스가 칼럼으로 나열되어 있는데 내가 놓쳤다. 다른 우려와 질문은 여전히 남아 있다. 그들의 결과 중 일부가 왜 내 경험, ArtificialAnalysis의 벤치마크, 또는 댓글을 단 다른 사람들의 경험과 맞지 않는 이상치인지 불분명하다.
- matheusmoreira
나는 비슷한 방법론을 썼다. 코드 리뷰가 내가 가장 많이 요청하는 작업이라, 블라인드 코드 리뷰 결과로 최전선 AI들을 비교했다.
이에 관한 글도 올렸다:
https://www.matheusmoreira.com/articles/code-reviewing-lone-...
TFA와 달리, 이 lone lisp 코드는 공개되어 있다. 모델들이 내 코드베이스로 학습됐을 가능성도 있다고 본다. 그래도 흥미로운 결과가 나왔다고 생각한다.
이걸 하는 데 몇 달과 엄청나게 많은 토큰이 들었기 때문에, 새 모델이 나올 때마다 이 연구를 반복하지는 않을 것이다. 그래도 이건 내 앞으로의 모든 기대치를 고정시켜줬다. 내가 보기엔 OpenAI가 이기고 있고, 그들의 사이버보안 프로그램이 유일하게 남은 골칫거리다.
- chandureddyvari
그건 당신의 실력과 툴링(테스트 실행 및 검증 - 에이전트 브라우저, 기능/단위 테스트 등)에도 달려 있다.
GPT 5.6 Sol이 Kimi, GLM 5.3에 뒤처진다는 게 나는 놀랍다.
내 생각엔 Fable 5.1 ~ Astra > GPT 5.6 Sol > Opus다.