AI가 19일간 스스로 코딩해 2600달러를 썼다 — Epoch AI의 MirrorCode 벤치마크

What's the largest software project AI can complete on its own?

Epoch AI와 METR이 공동 개발한 MirrorCode는 AI 모델이 원본 소스코드 없이 전체 프로그램을 재구현하는 장기 코딩 벤치마크다. 25개 대상 프로그램은 Unix 유틸리티, 생물정보학, 암호화 등 다양한 분야를 아우른다. 기존 벤치마크가 1~10달러의 추론 예산을 쓰는 반면, MirrorCode는 충분한 예산을 제공한다. 가장 큰 작업은 단일 실행에 2600달러가 들었고, AI가 19일간 무인으로 작업했다. 예를 들어 Claude Opus 4.7은 약 1만 6천 줄의 Go 코드와 40개 이상의 명령어로 구성된 생물정보학 도구 gotree를 14시간 만에 재구현했으며, 비용은 251달러였다. 인간 엔지니어는 2~17주가 걸릴 것으로 추정된다. 데이터 오염 가능성은 있지만, 암기 여부를 확인한 결과 성능이 암기에만 의존하지는 않는 것으로 나타났다.