Infinite-Parameter LLMs schreiben Live-Daten direkt in die Gewichte

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

Ein neues Paper schlägt Infinite-Parameter LLMs vor: Ein kompaktes Hypernetzwerk erzeugt aus den Daten zur Laufzeit eine niedrigrangige Modulation eines gemeinsamen Basisnetzwerks, sodass die Feed-Forward-Gewichte nicht aus einer festen Bank stammen, sondern live generiert werden. Statt den Kontext einmal zu lesen und einzufrieren, führt das Modell eine Bayes'sche Überzeugung über den latenten Code des Generators und aktualisiert sie online. Der gespeicherte Footprint bleibt konstant, doch die kompilierbaren Gewichte sind effektiv unendlich. Ein Evaluationsprotokoll soll dies gegen In-Context-Learning und Retrieval testen.