26年開発者がDeepWikiの自動ドキュメント生成を検証——正確さに驚きつつも重大な誤りを指摘

Roko's Dancing Basilisk

26年間開発してきたmod_blogと、より複雑な6809アセンブラa09の2つのリポジトリをDeepWikiでドキュメント化し、その精度を検証した。mod_blogでは約30ページのドキュメントが生成され、全体的に正確で、層構造の数え間違いなどの小さな問題があった。一方、a09ではエラー分類の欠如、デッドコード検出の誤り、アセンブラディレクティブの誤った例など、より深刻な問題が多数見つかった。特にバックエンドマトリックス表は完全に間違っていた。LLMによるドキュメント生成はコード生成よりはましだが、複雑なコードベースでは信頼性に欠けると結論づけた。