Memorilla сжимает целую библиотеку документов в 16 токенов памяти для LLM
Memorilla: Latent Semantic Memory for LLMs
Система памяти Memorilla от исследователей из Stanford кодирует документы — переписку, главы книг — в переиспользуемые эмбеддинги, а затем учится подмешивать нужное прямо во входное пространство замороженной LLM. Всего 16 memory-токенов обходят Mem0 и MemoRAG на пяти из восьми бенчмарков; на FactKG точность достигает 84,33% против 80,43% у полного контекста при в 108 раз меньшем числе токенов. В TextWorld агент реже блуждает по уже пройденным комнатам, а успешность растёт с 18,6% до 24,2%.
На FactKG она достигает точности 84,33% против 80,43% при выводе с полным контекстом, используя при этом в 108 раз меньше токенов для представления исходных документов.