Memorilla, 16개의 메모리 토큰으로 전체 문맥 추론을 이겼다

Memorilla: Latent Semantic Memory for LLMs

Memorilla는 고정된 LLM이 방대한 문서 집합에서 필요한 정보를 16개의 쿼리 의존적 '메모리 토큰'으로 압축해 입력 임베딩 공간에 배치하는 메모리 시스템이다. 문서를 한 번 인코딩해 재사용 가능한 임베딩으로 만들고, 쿼리별 정보를 학습해 검색한다. 개인화·장문서·지식 집약 QA를 아우르는 8개 벤치마크 중 5개에서 Mem0와 MemoRAG를 앞섰고, FactKG에서는 전체 문맥 추론의 80.43%를 넘는 84.33% 정확도를 108배 적은 토큰으로 달성했다. TextWorld 환경에서는 에이전트의 평균 성공률을 18.6%에서 24.2%로 끌어올렸다.