Infinite-Parameter LLMs: los pesos se generan desde datos en vivo
Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
Los modelos actuales no pueden aprender de la interacción en tiempo real porque sus pesos quedan congelados tras el entrenamiento; la información se coloca en el prompt y se descarta al terminar la petición. Inspirándose en MoE, los autores proponen el Infinite-Parameter LLM: una hypernetwork compacta convierte los datos de ejecución en una modulación de bajo rango de una red base compartida. Así, los pesos se generan desde datos vivos y se actualizan online mediante una creencia bayesiana sobre el código latente del generador. El almacenamiento permanece fijo, pero los pesos compilables son efectivamente infinitos.
El almacenamiento permanece fijo, pero los pesos que el modelo puede compilar son efectivamente infinitos.