LLMのメモリをプログラム解析に変えた話

I accidentally turned LLM memory into program analysis

脆弱性調査中にLLMが事実を忘れたり、誤った前提で推論を続けたりする問題に直面した著者は、LLMのメモリ管理をデータベースに任せることを思いつく。LLMは自然言語やコードを構造化された事実に変換し、Datalogエンジン「Lemmalog」がその事実から結論を導き、依存関係を追跡して、観察結果が変わったときに自動的に結論を無効化する。このアプローチは、プログラム解析のインクリメンタル評価と似ており、LLMの幻覚を減らし、結論の根拠を遡ることも可能にする。