Roko의 춤추는 바실리스크: LLM 문서 생성 도구의 한계

Roko's Dancing Basilisk

DeepWiki는 GitHub 저장소를 분석해 문서를 자동 생성하는 서비스다. 저자는 26년간 개발해온 mod_blog와 6809 어셈블러 a09 두 코드베이스에 이를 적용해 정확성을 평가했다. mod_blog 문서는 대체로 정확했지만 계층 수 오류 등 사소한 문제가 있었고, a09 문서는 오류 분류 누락, 데드 코드 탐지 조건 오류, 백엔드 매트릭스 표의 심각한 오류 등 많은 문제가 발견됐다. 특히 a09의 복잡한 코드는 LLM의 컨텍스트 창을 초과해 환각을 유발한 것으로 보인다. 저자는 이 도구가 문서화가 부족한 레거시 코드에 사용될 경우 더 큰 문제를 일으킬 것이라고 우려한다.