GPT-6 Astra schlägt GPT-5.6 Sol bei Testverfahren deutlich
Test/verification technique effectiveness with Astra
Dan Luu hat seine Eval mit GPT-6 Astra wiederholt: Beim Zstd-Benchmark erreicht Astra für 1 Dollar über 99 Prozent Testkorrektheit, wo GPT-5.6 Sol noch 3,50 bis 5,50 Dollar und deutlich schlechtere Trefferquoten brauchte. Beim härteren Pandoc-Eval, der rund 90.000 Dollar kostete, übertreffen mehrere Test- und Verifikationstechniken erstmals die Default-Bedingung. TDD bleibt schwach, ACL2 und Property-based Testing schneiden gut ab. Luu warnt jedoch: Die Stichproben sind klein, die Ergebnisse kaum belastbar.
Obwohl TDD schlechter abschneidet – was genau meiner Erwartung entspricht –, sollte das Ausbleiben von Schwächen bei anderen Bedingungen, die viele kleine Tests erzeugen, das Vertrauen in die plausibel klingende Begründung verringern, dass das Schreiben vieler kleiner Tests schlechter abschneidet.
- kooi
Schöner Beitrag. Gute Motivation, sich mehr mit formaler Verifikation zu beschäftigen. Da war heute dieser Aristotle-Beitrag, der wie ein prompt-gesteuerter, Plug-and-Play-Verifier mit Lean wirkt.
Das bringt mich zu der Überlegung, dass LLM-gestützte Generierung formaler Anforderungen für einen selbstgebauten „Aristotle“ möglich ist.
Ich denke gerade an unsere eigenen Projekte im Bereich Signalverarbeitung. Ein schöner Weg könnte sein: menschliche Sprache -> temporallogische Spezifikationen für Black-Box- und White-Box-Runtime-Tests.
Es gibt Code-Generatoren, die formale Logik in einen Runtime-Monitor umwandeln. In der Vergangenheit habe ich sie nie über Spielbeispiele hinaus genutzt, weil sie so verbose sind.
> Der Punkt dieses Beitrags ist zu zeigen, dass es im Zeitalter des KI-Codierens möglich ist, Entscheidungen immer noch auf der Grundlage von Beweisen statt von Bauchgefühlen zu treffen.
Das ist der Unterschied zwischen einem Ingenieur und einem Script-Kiddie.
Domänenexpertise wird immer wertvoll sein.
- reedf1
Das wirklich Mächtige, was du hier getan hast, ist, eine Taxonomie von Agentenmustern zu beginnen. Da wir in diesem Bereich so ziemlich alle Ingenieure sind, bin ich schockiert, wie wenig Ingenieursarbeit stattfindet. Die Leute wählen Muster, die sie intuitiv finden; aus verschiedenen erfundenen Gründen ist das am Anfang in Ordnung, aber wir müssen anfangen, ihre Leistung objektiv zu messen. Es muss gesagt werden, dass es unendlich viele plausible Agentenmuster gibt, und wir sollten alle (von Skills bis MCP bis Audit, was auch immer) als etwas betrachten, das denselben Weg wie Netscape gehen könnte, bis es eine echte Rechtfertigung gibt.
- ArtRichards
Ich verwende etwas, das ich als TDD-Skill bezeichnen würde, aber ich konnte nirgends im Artikel finden, was du mit TDD meinst? Wie hast du es dazu gebracht, TDD zu verwenden? Warum war es weniger effektiv? Ich fühle mich angesprochen ;)