LLM 메모리를 프로그램 분석으로 바꾼 이야기

I accidentally turned LLM memory into program analysis

LLM 에이전트로 취약점 연구를 하다 보면, 조사가 길어질수록 모델이 이전에 확립한 사실을 잊거나 잘못된 가정에 기반해 추론하는 문제가 발생한다. 저자는 이 문제를 해결하기 위해 LLM의 메모리를 Datalog 엔진으로 구현한 'Lemmalog'를 개발했다. LLM은 자연어와 코드를 구조화된 사실로 변환하고, Lemmalog는 사실 간의 관계와 파생 규칙을 관리하여 결론의 유효성을 자동으로 유지한다. 이를 통해 잘못된 관찰이 발견되면 관련 결론이 자동으로 무효화되고, 결론의 근거를 추적할 수 있다. 저자는 이를 프로그램 분석의 점진적 평가와 비교하며, LLM을 컴파일러의 프론트엔드로, Lemmalog를 분석 엔진으로 비유한다.