Infinite-Parameter LLMs: веса генерируются из живых данных, а не хранятся

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

Исследователи предлагают архитектуру Infinite-Parameter LLM, вдохновлённую Mixture-of-Experts. Компактная гиперсеть превращает данные, полученные во время работы, в низкоранговую модификацию общей базовой сети, поэтому веса прямой связи генерируются из живых данных, а не берутся из фиксированного банка. Байесовское убеждение о латентном коде генератора обновляется онлайн, и эффективный вес пересчитывается по мере развития сессии. Хранимый объём остаётся фиксированным, но число компилируемых весов фактически бесконечно. Предложен протокол оценки в сравнении с in-context learning и retrieval.