Roko's tanzende Basilisk: LLM-Dokumentation im Praxistest
Roko's Dancing Basilisk
Ein Entwickler testet DeepWiki, das automatisch Dokumentation für GitHub-Repositories erzeugt, an zwei eigenen Projekten: dem 26 Jahre alten mod_blog und dem Assembler a09. Während die Ergebnisse für mod_blog überraschend gut sind, offenbaren sich bei a09 zahlreiche Fehler – von falschen Beispielen bis hin zu erfundenen Backend-Matrix-Ergebnissen. Der Autor vermutet, dass die zyklomatische Komplexität die LLMs an ihre Grenzen bringt, und warnt davor, solche Tools auf unvertraute, komplexe Codebasen loszulassen.
Ich befürchte, dass dies für Legacy-Code mit wenig oder keiner Dokumentation gedacht ist, und wenn es das bei einer moderat komplexen, aber kleinen Codebasis so schlecht macht, will ich mir nicht ausmalen, was es mit einer größeren, älteren und knorrigeren Codebasis anstellen würde.