AIが単独で完成できる最大のソフトウェアプロジェクトは? Epoch AIの新ベンチマーク
What's the largest software project AI can complete on its own?

Epoch AIはMETRと共同で、AIモデルがソースコードなしでプログラム全体を再実装する長期的コーディングタスクを評価するベンチマーク「MirrorCode」を発表した。25のターゲットプログラムはUnixユーティリティ、バイオインフォマティクス、暗号化など多岐にわたる。最大のタスクでは1回の実行に2,600ドル、19日間のAI作業を要した。Claude Opus 4.7は約16,000行のGo製バイオインフォマティクスツールキットを14時間で再実装し、251ドルで完了。人間なら2〜17週間かかる作業だ。ただし、学習データ汚染の可能性は残る。
最大のMirrorCodeタスクの1つは、1回の実行に2,600ドルかかり、AIが人間の介入なしに19日間作業しました。