Warum LLM-Agenten Software schlechter machen – und wie Tests das ändern
Agentic test processes, LLM benchmarks, and other notes on agentic coding fr
Dan Luu berichtet ausführlich über seine Erfahrungen mit KI-gestützter Codierung. Er erklärt, warum herkömmliche Code-Reviews in Zeiten von LLM-Agenten versagen und wie ein testing-lastiger Workflow ohne menschliche Review-Pflicht, wie er ihn bei seinem früheren Arbeitgeber Centaur erlebte, zu deutlich höherer Qualität führt. Anhand konkreter Beispiele zeigt er, wie Fuzzing und randomisierte Tests in Kombination mit LLMs effektiver Bugs finden als manuelle Tests oder einfache KI-Code-Reviews. Luu teilt zudem Erkenntnisse über die Grenzen von LLM-Benchmarks und die Notwendigkeit, Agenten stärker zu validieren.
Ein Agent wird etwas tun, das, wenn ein Mensch es täte, Sie ihn sofort feuern würden. Meine Reaktion ist natürlich, so zu tun, als wäre das großartig, und tausend Agenten zu starten, damit sie noch mehr davon tun können.