MirrorCode: KI meistert 16.000 Zeilen Software in 14 Stunden

What's the largest software project AI can complete on its own?

MirrorCode, ein gemeinsames Benchmark von Epoch AI und METR, testet KI-Modelle an langfristigen Programmieraufgaben: Sie müssen komplette Programme ohne Zugriff auf den Originalcode nachbauen. Die 25 Zielprogramme umfassen Bereiche wie Unix-Tools, Bioinformatik und Kryptografie. Ein bemerkenswertes Ergebnis: Claude Opus 4.7 reimplementierte das Bioinformatik-Toolkit gotree (ca. 16.000 Zeilen Go) in 14 Stunden für 251 Dollar – ein Mensch bräuchte dafür schätzungsweise 2 bis 17 Wochen. Das Benchmark ist manipulationsresistent, da Modelle ohne Internet und mit versteckten Tests arbeiten. Die Ergebnisse könnten jedoch durch Datenkontamination beeinflusst sein, da die Modelle die Open-Source-Codebasis aus dem Training kennen könnten.