Memorilla dota a los LLM congelados de memoria usando solo 16 tokens

Memorilla: Latent Semantic Memory for LLMs

Memorilla es un sistema de memoria que reúne información de toda una colección de documentos en un número fijo de 'memory tokens' dependientes de la consulta, para un LLM congelado. Codifica los documentos una sola vez en embeddings reutilizables y luego aprende a recuperar y colocar la información relevante en el espacio de embeddings de entrada del modelo. Con solo 16 tokens supera a Mem0 y MemoRAG en cinco de ocho benchmarks y alcanza un 84,33% en FactKG frente al 80,43% de la inferencia con contexto completo, usando 108 veces menos tokens.