Memorilla、わずか16個のトークンで全文脈推論を上回る

Memorilla: Latent Semantic Memory for LLMs

Memorillaは、凍結したLLMのために文書集合からクエリ依存の「メモリトークン」を生成する記憶システム。文書を一度エンコードして再利用可能な埋め込みにし、必要な情報をLLMの入力埋め込み空間に配置する仕組みだ。わずか16トークンで、パーソナライズや長文書、知識集約型QAを含む8ベンチマーク中5つでMem0やMemoRAGを上回る。FactKGでは全文脈推論の80.43%に対し84.33%を達成し、トークン消費は108分の1。TextWorldではエージェントの成功率が18.6%から24.2%に向上した。