In 27.280 Coding-Agent-Läufen floss 64 % des Inferenz-Budgets in gescheiterte Runs

In 27,280 coding agent runs, 64% of inference spend went to runs that failed

Runta hat gemeinsam mit Baseten mit 83 Milliarden Tokens über 27.280 Agent-Läufe den bislang größten Harness-Vergleich gebaut: 22 Konfigurationen, fünf Modelle, 62 Terminal-Aufgaben. Ergebnis: Wer das Modell wechselt, sollte auch das Harness wechseln. Codex CLI war mit GLM-5.3 am günstigsten pro bestandenem Task, landete mit Kimi-K3 aber nur auf Platz 16. Bei festem Modell unterscheiden sich die Kosten je nach Harness um das 1,8- bis 5,0-Fache.

Bei festem Modell hängen 68 % der Unterschiede zwischen den Harnesses von der Kombination aus Harness und Modell ab – oder sind schlicht Rauschen.
  1. seizethecheese

    Die Schlagzeile hier ist verwirrend. Sie haben eine Reihe von Harness- und Agent-Kombinationen auf Terminal-Bench-Aufgaben laufen lassen, und 64 % der Ausgaben entfielen auf Aufgaben, die die Terminal-Bench-Verifier nicht bestanden haben.

    Es ist unklar, ob das angesichts der für den Benchmark ausgewählten Modelle überraschen soll. Ich vermute nicht, und die Schlagzeile ist geschrieben, um bei „Geldverschwendung für KI“-Upvotes anzubiedern.

    Edit: Sie haben den Titel geändert. Der, mit dem es auf die Startseite kam, war so etwas wie „Über N Agent-Läufe gingen 64 % der Agent-Kosten in fehlgeschlagene Läufe“.

    Edit2: Da der Link schlechte Qualität hat, habe ich versucht, einige dieser Fragen selbst zu beantworten, indem ich 927k Agent-Läufe im Vergleich zu den 27k dieses Blogposts verwendet habe: https://micjm.com/blog/on-model-harness-interactions/. Das Ergebnis: Es gibt nicht viele Harness-x-Modell-Interaktionen. OpenAI-Modelle scheinen eine Präferenz zu haben.

  2. Zigurd

    Ich fühle mich durch die Leistung von Coding-Agenten in zwei Richtungen gezogen: Erstens scheint es vernünftig, sie an der kurzen Leine zu halten. Ich bekomme nicht oft fehlgeschlagene Ergebnisse. Als ich anfing, Coding-Agenten zu nutzen, schien das nicht nur vernünftig, sondern erforderlich, um nicht mit einer Menge halluzinierter Seltsamkeiten umgehen zu müssen. Zweitens ist es aber ziemlich cool, vage in eine bestimmte Richtung zu winken und sowohl Benutzeroberfläche als auch Geschäftslogik zu bekommen, die objektiv schöner ist, als ich sie mit dem Aufwand, den ich in manuelles Codieren gesteckt hätte, hinbekommen hätte. Wann immer ich einen Coding-Agenten vorsichtig einsetze, frage ich mich, was ich verpasse, wenn ich ihn nicht einfach machen lasse.

  3. cpeth

    Harnesses sind, soweit ich sie mir angesehen habe, alle ziemlich einfache Schleifen; es steckt nicht viel dahinter.

    Als jemand, der regelmäßig Claude Opus 5.5 aus Claude Code und aus Copilot verwendet, würde ich sagen, dass der Harness insgesamt kaum eine Rolle für Leistung und Verhalten spielt. Opus ist in beiden Harnesses nahezu identisch. Das Gegenteil ist auch wahr: Wenn ich Copilot auf etwas wie Gemini 4 Argon umstelle, ist es völlig anders, obwohl ich im selben Harness bin.

    Nur etwas Anekdotisches.

  4. xyzzy_plugh

    Ich mag diese Rahmung nicht.

    Für ein gegebenes Modell hängt der beste Harness vom Problem ab. Je leistungsfähiger Modelle werden, desto mehr scheint der Harness wichtiger zu sein als das Modell. Das ist vielleicht kontrovers, aber erlauben Sie mir, es zu erklären.

    Die meisten meiner Probleme liegen in einer einzigen Domäne und verwenden spezifische Tools und Programmiersprachen. Ich gebe dem jeweiligen Modell des Tages die spezifischen Tools, die es zur Lösung des Problems braucht. Ich lasse es keine beliebigen Skripte oder Programme ausführen (obwohl es das könnte, wenn es wirklich versucht). Ich gebe ihm eine begrenzte Anzahl von Aufrufen und speise diese Information zurück in es ein (Budget). Ich lasse es Arbeit an andere Modelle auslagern, wobei derselbe Harness verwendet wird. Ich gebe allem ein Budget, das verfolgt und durchgesetzt wird, aber nicht real ist und sich zu unterschiedlichen Zeiten auffüllt.

    Dieser maßgeschneiderte, spezialisierte Harness schlägt für diese Aufgaben absolut jeden anderen gängigen Harness. Deutlich schneller, günstiger, korrekter.

    Aber ich kann mit diesem Harness keine mobile App bauen oder einen Film machen.

    Diese Tests machen dasselbe. Sie messen eine Handvoll Szenarien. Ich kann nicht leicht erkennen, ob diese auf meine Bedürfnisse abbilden oder nicht. Nach meiner Erfahrung tun das nur sehr wenige.

    Können diese Allzweck-Harnesses meine Probleme lösen? Ja, wenn ich bereit bin, das Modell lange arbeiten und viele Tokens verbrennen zu lassen. Aber das fühlt sich nicht wie eine nachhaltige Praxis an.

    Vielleicht bin ich zu früh dran, vielleicht ist es verfrüht, den Harness so zu optimieren, aber ich verbrauche weniger Tokens als meine Kollegen und bekomme viel mehr erledigt, und das zählt.

  5. bisonbear

    Das sind coole Ergebnisse, und ich freue mich, dass Tokens in die Evaluierung von Harness-Fähigkeiten investiert werden.

    Allerdings bin ich skeptisch gegenüber der Korrelation zwischen Bestehen/Nichtbestehen in Evals, die binär 0/1 durch Tests bestimmt werden, und der realen Nutzung, wo Nutzer steuern, Code-Reviews durchführen und mehr als nur das Bestehen/Nichtbestehen von Tests wichtig finden können.

    Ich habe über das Problem geschrieben, „Erfolg“ für Coding-Agenten zu bestimmen, und vieles läuft darauf hinaus, dass Agenten dummen Code schreiben können, der Tests besteht, und klugen Code, der Tests nicht besteht, und wir müssen dazu übergehen, die Qualität des Codes und die Übereinstimmung mit der Absicht zu belohnen, statt nur ein Signal auf zurückgehaltenen Tests (was immer noch wichtig ist!).

    https://www.stet.sh/blog/cost-per-successful-task

  6. alok-g

    Ich frage ernsthaft: Warum ist Kilo code (https://kilo.ai) in dieser und den meisten solchen Analysen nicht vertreten? Es wird auch allgemein auf HN nicht viel darüber gesprochen.

  7. zodwick

    Ich frage mich, ob es eine korrelative Verbesserung zwischen dem eigenen Harness und Modell desselben Labors gibt.

    Zum Beispiel erinnere ich mich, dass Codex ein anderes Zeilennummernformat als CC hatte und jeder andere Harness ein Zwei-Format-Tool haben musste, um die Leistung zu maximieren.

    Ich frage mich, ob so etwas noch existiert oder ob sie jetzt auf allen möglichen Kombinationen RL machen.

  8. ford

    Um es klarzustellen – „Failed“ bedeutet hier „Hat nicht alle Bestehenskriterien für eine gegebene Benchmark-Aufgabe erfüllt“, nicht „Hat einen Laufzeitfehler erlebt“.

Mehr von diesem Tag

2026-11-17