Un modelo de lenguaje de 406M parámetros supera a uno de 609M gracias a sus estados latentes persistentes

Latent Lattice Language Models

Investigadores de MIT y Adobe proponen el Lattice of Latents: corrientes latentes horizontales por capa que persisten entre tokens y condicionan la atención, la KV-cache, el MLP y el decodificado del flujo residual vertical. Entrenado con 20B tokens de FineWeb-Edu, un modelo de 406M parámetros baja la perplejidad de validación de 15.41 a 14.40 frente a un Transformer equivalente, y se combina con mejoras previas del flujo residual hasta llegar a 13.61. También mejora Gated DeltaNet, Mamba-2 y sus híbridos.

Estos resultados identifican el estado persistente por capa como un eje complementario para escalar la computación de los modelos de lenguaje.

Más de este día

2026-11-17