Real-SWE: Kein KI-Modell löst alle Aufgaben in echten Enterprise-Codebasen
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
Specific Labs veröffentlicht Real-SWE, einen Benchmark, der Frontier-KI-Modelle auf privaten, realen Enterprise-Codebasen testet. Die Aufgaben stammen aus lizenzierten Produktionssystemen und umfassen komplexe Szenarien wie Abrechnung, Steuern und Kundenmigration. Spitzenreiter Fable 5.1 erreicht nur 38,8 % Lösungsrate, und 71,4 % der kurzen Rollouts scheitern. Häufigste Fehlerquelle: übersehene Anforderungen.
99% der Tokens in realen Unternehmen sind vor den Frontier-Modellen verborgen.
- springtimesun
Ich habe genau das mit meinen eigenen Codebasen gebaut. Das Setup ist nicht so komplex; man splittet die Git-Historie bis kurz vor die Änderung, sandboxt den Agenten mit allem, was er an diesem Commit brauchen wird, und modifiziert die Regeln leicht, damit er nicht außerhalb der Box sucht. Dann bekommt er denselben Prompt (normalerweise das Ticket, mit dem die Arbeit begann) und wird gegen den akzeptierten PR bewertet.
Das, was am meisten Zeit kostet, ist, die Beispiele zu finden. In meinem echten Dev-Flow ist es selten Ticket -> PR -> Merge, die Dinge springen viel mehr hin und her. Also, obwohl das erklärte Ziel ist, von One-Shots wegzukommen, ist das im Grunde die Umgebung, die man einrichten muss, oder man testet auf bestimmte andere Ergebnisse (z. B. der Agent hat gestoppt und eine Frage aufgeworfen, als er x bemerkt hat).
Es dauert, das zu tun, aber ich würde es wirklich empfehlen. Jetzt kann ich neue offene Modelle durch die Testbatterien schicken und in ein paar Tagen sehen, wie sie im Vergleich zu früheren abschneiden (ich lasse sie lokal laufen, es ist langsam). Es verschiebt mein Gefühl, dass Modell x gut in y und schlecht in z ist, von Vibes zu einer besseren Heuristik (diese laufen immer noch bei temp 1, Heuristik ist meiner Meinung nach die richtige Art, über Ergebnisse nachzudenken). Es erdet das in deinem tatsächlichen Code und Problemraum.
Mein Fazit aus meinem Testen: In Rails- oder Frontend-Codebasen sind die meisten Modelle, die ich teste, kompetent, und mit einem Menschen im Loop würden sie ihr Ziel erreichen, zu einem mergebaren PR zu kommen. Sie sind nicht so gut wie Claude, und da ich über ein Abo subventionierte Preise zahle, bekommt Claude immer noch den ersten Durchgang. Sie sind es sehr wert, als Review-Schicht eingebaut zu werden […]
- glub
Ich bin überrascht, dass Sol und Astra die Metrik "Unverified assumption" anführen und Fable dort besser ist.
Ich nutze Fable als mein Hauptmodell mit Sol als Berater, der jeden Turn beobachtet. Fable wirft gerne Annahmen herum, die es nicht überprüft hat und die einfach falsch sind, und Sol geht immer hin und verifiziert sie tatsächlich und warnt dann Fable, dass es Dinge annimmt.
Ich habe versucht, dieses Paar umzudrehen, mit Fable als Berater. Es sitzt einfach da und sagt "klingt gut"
- prometheus1992
Bedeutet das, dass sie am Ende diese privaten Codebasen mit OAI, Anthropic usw. geteilt haben? Außerdem deckt sich die Zahl von ~30 % mit meiner Erfahrung. Ich dachte, ich würde verrückt werden, weil ich zu viel von den Modellen erwarte, aber sie sind immer noch schlecht, einschließlich astra. Heute Morgen hat es etwas ziemlich Triviales vermasselt, während es ein Problem behob, was mich schockiert hat. Und außerdem2, Benchmarks bedeuten heutzutage nicht mehr viel.
- lmeyerov
Meine Intuition ist, dass viele der besseren und größeren "privaten" Codebasen, zumindest was Claude Code und Codex betrifft ... inzwischen tatsächlich nicht mehr privat sind.
Eine Lektion aus dem Betrieb von botsbench.com, in einer etwas anderen Domäne, ist, jedes Mal auf Modellkontamination zu messen.
- jstummbillig
Ich versuche einzuschätzen, ob meine Reaktion darauf, GPT-5.6 Sol auf dieser Liste ganz unten zu sehen, vernünftig oder eher emotional ist, und stelle fest, dass ich keine Möglichkeit habe, das zu sagen.
- skhameneh
Manches daran scheint vernünftig, anderes ergibt einfach keinen Sinn, und es fehlen entscheidende Details (wie Reasoning-Level und welches Harness verwendet wurde).
Zum Beispiel habe ich festgestellt, dass Kimi K3 mehr Tokens verwendet als einige andere Modelle, was dazu führte, dass es allein wegen des Token-Volumens doppelt so viel kostete. Diese Erfahrung deckt sich mit den Benchmarks von ArtificialAnalysis, aber nicht mit diesen.
Es gibt eine Reihe anderer Vergleiche hier, die nicht mit meiner Erfahrung oder anderen Benchmarks übereinstimmen. Nach vielen Berichten ist dies der Ausreißer.
Ich könnte die Unterschiede auf verwendete Harnesses oder so etwas wie Reasoning-Level zurückführen, aber keines dieser Details ist veröffentlicht.
Obwohl das interessant erscheint, kann ich das nicht ernst nehmen.
Korrektur: Die Harnesses sind als Spalte aufgeführt, das habe ich übersehen. Meine anderen Bedenken und Fragen bleiben bestehen, es ist unklar, warum einige ihrer Ergebnisse der Ausreißer sind, der nicht mit meiner Erfahrung, den Benchmarks von ArtificialAnalysis oder einigen Erfahrungen anderer Kommentatoren übereinstimmt.
- matheusmoreira
Ich habe eine ähnliche Methodik verwendet. Code-Review ist meine am häufigsten angeforderte Aktion, also habe ich blinde Code-Review-Ergebnisse genutzt, um die Frontier-KIs zu vergleichen.
Habe sogar einen Artikel darüber veröffentlicht:
https://www.matheusmoreira.com/articles/code-reviewing-lone-...
Anders als im TFA ist der Lone-Lisp-Code öffentlich. Ich nehme an, die Modelle könnten auf meiner Codebasis trainiert worden sein. Trotzdem denke ich, dass es einige interessante Ergebnisse produziert hat.
Hat Monate und Unmengen an Tokens gedauert, das zu machen, also werde ich diese Studie nicht wiederholen, wenn neue Modelle herauskommen. Es hat aber alle meine zukünftigen Erwartungen verankert. OpenAI gewinnt, was mich betrifft, und ihr Cybersicherheitsprogramm ist der einzige verbleibende Schmerzpunkt.
- chandureddyvari
Es hängt auch von deinen Fähigkeiten und deinem Tooling ab (Testausführung und -verifikation – Agent-Browser, funktional/Unit usw.)
Dass GPT 5.6 Sol hinter Kimi, GLM 5.3 zurückliegt, überrascht mich.
Meiner Meinung nach Fable 5.1 ~ Astra > GPT 5.6 Sol > Opus.