Un modelo de lenguaje de 406M parámetros supera a uno de 609M gracias a sus estados latentes persistentes
Latent Lattice Language Models
Investigadores de MIT y Adobe proponen el Lattice of Latents: corrientes latentes horizontales por capa que persisten entre tokens y condicionan la atención, la KV-cache, el MLP y el decodificado del flujo residual vertical. Entrenado con 20B tokens de FineWeb-Edu, un modelo de 406M parámetros baja la perplejidad de validación de 15.41 a 14.40 frente a un Transformer equivalente, y se combina con mejoras previas del flujo residual hasta llegar a 13.61. También mejora Gated DeltaNet, Mamba-2 y sus híbridos.
Estos resultados identifican el estado persistente por capa como un eje complementario para escalar la computación de los modelos de lenguaje.