Memorilla schlägt vollständigen Kontext mit nur 16 Memory-Tokens
Memorilla: Latent Semantic Memory for LLMs
Memorilla ist ein Speichersystem für eingefrorene LLMs: Es kodiert Dokumente einmalig in wiederverwendbare Embeddings und lernt dann, abfragespezifische Informationen direkt in den Eingabe-Embedding-Raum des Modells zu platzieren — als feste Zahl von Memory-Tokens. Mit nur 16 Tokens übertrifft es Mem0 und MemoRAG auf fünf von acht Benchmarks; auf FactKG erreicht es 84,33 % Genauigkeit gegenüber 80,43 % bei vollständiger Kontextinferenz, bei 108-fach weniger Tokens.
Auf FactKG erreicht es 84,33 % Genauigkeit gegenüber 80,43 % bei vollständiger Kontextinferenz, während es 108-mal weniger Tokens zur Repräsentation der Quelldokumente benötigt.