Warum Coding-Agents so dumm sind
Why Are Coding Agents So Dumb?
Coding-Agents wie Claude Code oder Codex sind trotz immer leistungsfähigerer LLMs weiterhin die Bremse in der KI-gestützten Entwicklung. Der Autor beschreibt, wie Agents Aufgaben nicht parallelisieren, nicht delegieren, keine Pläne verständlich kommunizieren und bei der erstbesten Gelegenheit pausieren. Selbst einfachste Sandboxing-Funktionen fehlen, sodass Agents ungehindert auf das gesamte Dateisystem zugreifen. Er fordert grundlegende Verbesserungen: automatische Modellwahl, echte Sandboxen und Selbstkenntnis der Agents.
Wenn ich einen menschlichen Angestellten hätte, der mir sagt, er habe seine ganze Schicht über untätig herumgesessen, weil er meinen Input zu irgendeinem oberflächlichen Detail wollte, würde ich ihn schnell feuern.
- johnfn
All diese Probleme sind gelöst.
> Agents können keine Aufgaben verwalten
Sag "use subagents".
> Agents können nicht delegieren
Sag "use subagents that are Haiku/Sonnet"
> Agents haben noch nie von Agents gehört
Das ist nicht mal ein Problem: Der Autor ist nur verwirrt, warum Anthropic nicht die gesamte Claude Code-Dokumentation ins Harness eingebaut hat, aber natürlich ergibt es keinen Sinn, den Kontext so zu verschmutzen.
> Agents sind schlecht darin, Pläne zu kommunizieren
Stimmt, die Kommunikation könnte besser sein.
> Agents nehmen jede Ausrede, um aufzuhören zu arbeiten
Benutz einfach /loop.
> Agents sind nur nützlich, wenn sie unnötige Risiken eingehen
Benutz einfach eine Sandbox. Okay, technisch gesehen wird dieses eine nicht buchstäblich von Anthropic/OpenAI gelöst, aber es wird von einer Million Agent-Sandbox-Startups gelöst.
- Neywiny
Ich stoße ständig darauf. Es ist schön zu sehen, dass andere hier ebenfalls kämpfen. Ich schätze, wenn alles, was man tut, einmalige, einfache, triviale Aufgaben sind, wen kümmert's. Ich habe festgestellt, dass sie dafür großartig sind. Aber sobald ich echte Arbeit erledigen muss, baut jeder sein eigenes esoterisches Abandonware-Zeug, das irgendwie funktioniert, aber irgendwie auch nicht. Stars sind kein perfekter Indikator, aber ich habe nichts über ein paar Hundert gesehen für diese Dinge, die ich auf GitHub finde. Dasselbe bei Downloads von Plugins. Es fühlte sich sehr isolierend an, als wäre ich der Einzige, der vom Zustand dieser Sache nicht begeistert ist.
- polyterative
Ich verstehe deinen Punkt, aber allein die Tatsache, dass ich mit meinem Computer sprechen kann und irgendetwas Nützliches passiert, ist für mich immer noch ein Wunder. Ich glaube nicht, dass ich mich jemals daran gewöhnen werde, wie gut die neuen Modelle sind. Ich kann einfach nicht mithalten. Und ich mache das beruflich. Zehn Stunden am Tag.
Vieles kann verbessert werden, aber das ist schon so viel Geschwindigkeit.
- mstank
Früher konnte ich mich mit diesem Artikel ziemlich gut identifizieren. In den letzten 3-4 Monaten nicht mehr so sehr. Ich habe festgestellt, dass die neuesten Modelle -- Opus 5.5, Astra, etc. -- mehrere Aufgaben jonglieren, außergewöhnlich gut delegieren und sehr gut darin sind, unabhängig zu arbeiten.
Mit Open-Weight-Modellen habe ich gelegentlich noch Probleme, aber die Frontier-Labs haben das Obige für die meisten Anwendungsfälle gelöst.
- ilamont
Der Agent hält nie inne und sagt: "Moment, das ist etwas, das ein anderes Modell billiger und schneller erledigen könnte." Er pflügt einfach mit dem langsamen, teuren Modell weiter. Umgekehrt sagt der Agent nie: "Dieses Modell ist zu dumm für diese Aufgabe. Lass mich ein klügeres einwechseln."
Das ist ein ziemlich großes Versagen, das dadurch verschärft wird, dass die meisten Menschen nicht wissen, welches Modell sie wählen sollen, oder Annahmen auf Basis von Anthropics Hierarchie oder dem "Aufwand" treffen.
Wie Fable: deine härtesten Herausforderungen. Du meinst, wie Fields-Medaille-härteste Herausforderungen? Oder drei monströse Tabellenkalkulationen analysieren und aktualisieren härteste Herausforderungen? Oder einen neuen Roman im Stil von William Gibson schreiben härteste Herausforderungen?