Roko's Dancing Basilisk: cuando la documentación generada por LLM baila al borde del abismo
El autor, con 26 años de experiencia en su propio código, prueba DeepWiki, un generador de documentación basado en LLM para repositorios de GitHub. En su primer intento con mod_blog, la documentación resultó sorprendentemente precisa, aunque con algunos errores notables. Sin embargo, al probarlo con su ensamblador a09, de complejidad similar, encontró numerosos fallos graves, desde tablas incorrectas hasta ejemplos erróneos. El autor concluye que, aunque menos molesto que la generación de código, la documentación generada por IA sigue siendo demasiado inexacta para fiarse de ella en bases de código desconocidas, y especula sobre los límites del contexto del modelo.
Temo que esto esté pensado para usarse con código heredado con poca o ninguna documentación, y si lo hace tan mal con una base de código pequeña pero moderadamente compleja, no quiero ni pensar lo que haría con una más grande, más antigua y más enrevesada.