Claude schreibt 90 % des Codes – so prüft das Claude-Code-Team die Arbeit der KI
How the Claude Code team thinks about verification
Beim Claude-Code-Team werden rund 90 % des Codes von Claude geschrieben und reviewt. Verifikationsschleifen sind der Schlüssel, um Arbeit an Agenten zu delegieren: Ohne sie lässt sich nur ein oder zwei Claudes parallel betreiben, mit ihnen Dutzende bis Hunderte. Das Team setzt auf End-to-End-Tests, Property-Tests und Differential-Tests, auf ein verify-Skill, das die App wirklich startet, und auf Prüfregeln, die ein Change nicht selbst verändern kann.
Wenn ein Change die Prüfung verändern kann, die ihn bewertet, ist die Prüfung kaputt.
- OtherShrezzing
Dieser Artikel wirkt wie das Ergebnis davon, unbegrenzte Tokens zur Verfügung zu haben. Er enthält einige sehr teure Praktiken, wo nahezu kostenlose Praktiken die gleichen oder bessere Ergebnisse liefern würden.
Es gibt einen langen Abschnitt in der Mitte, in dem der Artikel die Verifikation pro Änderung über Skill-Dateien beschreibt und „Claude bitten, das chrome-for-Claude-Tool zu verwenden“, wenn geprüft wird, ob Änderungen Regressionen eingeführt haben.
Aber es gibt bereits Tools, die das tun, ohne Tokens zu verbrauchen. Playwright wird die gleiche Qualität, aber deterministische Ergebnisse über die gleichen Verifikationsversuche hinweg erzielen. Es ist einmal schreiben, oft verwenden, hat also marginale Kosten nahe null.
- tshaddox
Gilt Claude Code heutzutage als zuverlässige Software?
Ich habe vor etwa 9 Monaten aufgehört, es als mein Daily Driver zu nutzen, und damals fühlte es sich sehr schwerfällig/klobig an und schien sehr regelmäßig Bugs und bahnbrechende UI-Änderungen zu haben.
Ich würde mich freuen zu hören, dass es besser geworden ist!
- girvo
> Mit ihnen kann man Dutzende oder Hunderte parallel laufen lassen.
Ich gebe schon jetzt 2.000 USD pro Monat für Tokens aus, mit nur ein oder zwei Agenten. Wie erwarten sie, dass ich das mache?
- koolba
> Niemand kann jede Änderung lesen, also nutzen wir Fehler als eine Möglichkeit zu entscheiden, was eine Person braucht.
Ob ein Mensch jeden Diff prüfen kann oder sollte, ist eine bewusste Entscheidung auf Projektebene. Ich habe noch kein Projekt gesehen, bei dem es nicht machbar ist. Der Trick besteht darin, die Dinge in kleine genug Stücke aufzuteilen, dass man sie überprüfen kann. Genau wie man es tun würde, wenn man solche Änderungen manuell durchführen würde. Niemand bei klarem Verstand führt nicht-mechanische Änderungen an Hunderten von Dateien durch.
- Narann
Je mehr ich Artikel wie diesen lese, desto mehr wird mir klar, dass Claude gut für Prozess-Prototyping ist, aber man muss den Prozess mit flachem Code/Skript/Organisation „backen“, um die Kosten zu senken.
Die Zukunft der KI wäre tatsächlich, im großen Maßstab einfach zu prototypisieren, noch mehr wie Python eine Prototypensprache war.
- asmvolatile
Das Claude-Code-Team denkt überhaupt nichts nach. Die Interaktion mit Anthropic-Teams macht deutlich, dass niemand in diesem Unternehmen eine Ahnung hat, wie ihre Software funktioniert.
- FartyMcFarter
> Flaky Tests bekommen die gleiche Behandlung. Claude kann sie nicht überspringen, Sleeps hinzufügen oder wiederholen, bis sie bestehen. Wenn es die Ursache nicht finden kann, löscht es den Test und schreibt auf, warum.
Wenn die Tests hermetisch sind, sollte man immer in der Lage sein, die Ursache zu finden (indem man eine Binärsuche durchführt, um festzustellen, wann der Test flaky wurde).
Wenn die Tests nicht hermetisch sind, sollte es trotzdem möglich sein, die Abhängigkeit zu identifizieren, die sie flaky macht, und das als Begründung zu verwenden, wenn es immer noch sinnvoll ist, den Test zu löschen.
- hliyan
Meiner Meinung nach kann die Ausgabe eines stochastischen Prozesses nur durch einen deterministischen Prozess wirklich verifiziert werden. Tests tun dies bereits für funktionale Genauigkeit. Linter können dies für Code auf Zeilenebene tun, wobei Code als Text behandelt wird. Aber es gibt derzeit keine solche Methode der deterministischen Verifikation für die Struktur des gesamten Programms oder, was noch wichtiger ist, für die Tragfähigkeit der Architektur, wenn man Konnektivität und IOPS hinzufügt.
Vielleicht brauchen wir eine Ebene über Lintern: ein Tool, das den abstrakten Syntaxbaum konstruiert und seine verschiedenen Zweige gegen deterministische Regeln verifiziert.
Wie man das für Architektur macht: unsicher.