Google propone que los LLM 'duerman' para no olvidar lo aprendido
Sleep framework: A new way for LLMs to retain knowledge in continual learning
Investigadores de Google presentan un marco de aprendizaje continuo inspirado en el sueño humano: tras cada fase activa, el modelo consolida recuerdos frágiles en parámetros estables mediante expansión de expertos y autodestilación, y luego 'sueña' generando datos sintéticos para mejorar su razonamiento. Así retiene conocimiento de hasta 10 millones de tokens y evita el olvido catastrófico, superando a GPT-4 y Titans en pruebas de contexto largo.
Durante la fase de sueño offline, el modelo desbloquea bloques de memoria Mixture-of-Experts (MoE) preasignados y actualiza sus pesos numéricos usando ejemplos de práctica autogenerados.
- gopalv
> Destilación on-policy: El modelo estudiante expandido aprende retroalimentación específica de tokens a partir de las distribuciones del profesor generadas en secuencias auto-muestreadas.
Lo extraño es ver que esto se basa en la KV-Cache en los diagramas.
Completamente diferente del RAFT de Databricks [1].
Mi equipo construyó "Dreamtime" a principios de este año [2], que usaba un mecanismo diferente para destilar aprendizajes a través de múltiples sesiones.
Esto no extraía de la capa de tokens, sino de los ajustes del usuario en respuestas insatisfactorias.
Esto funciona como una onda de diente de sierra donde acumulamos contexto, verificamos disonancias (un usuario puede decir "Depende" y corregirlo), lo comprimimos de vuelta, retiramos el antiguo.
Los requisitos de auditoría son el verdadero problema para los clientes, donde necesitas poder preguntar "¿Cuándo cambió esto? ¿y quién lo cambió?", lo cual era difícil de responder desde la capa más baja del modelo a menos que puedas retener el linaje hasta las sesiones originales.
Un modelo que entrenamos no puede servir como cómplice de un usuario que quiere ocultar algunos delitos financieros ajustando repetidamente al agente.
- deepwoods
Me pregunto qué tan bien se traduciría esto con un modelo mucho más grande. Realizaron los experimentos con modelos comparativamente diminutos. Presumiblemente necesitarías generar muchos más tokens para mover la aguja de los pesos de un modelo de varios billones de parámetros. Podría ser simplemente que no es tan difícil mejorar Llama-3B y Llama 3-8B porque no son muy buenos para empezar. Lo comparan con otros métodos —aprendizaje en contexto y TTT— pero me gustaría verlo comparado con un "grupo de control" de RLHF.
Aparte, entiendo que esto es una preprint, pero es muy extraño ver un texto con errores tipográficos y gramaticales obvios (por ejemplo, página 13: "We attributes this results to," "In this setting (see Table 4), Sleep achieves a 80% success rate, higher then the other methods.") en una era con LLMs. De alguna manera confirma que esto fue escrito por seres humanos, y estoy totalmente a favor de eso, pero me llama más la atención de lo que solía.