Новая архитектура Lattice снижает perplexity модели на 406M параметров до уровня более крупных Transformer

Latent Lattice Language Models

Исследователи из MIT и Adobe предложили Lattice of Latents — набор горизонтальных латентных потоков, которые сохраняются между токенами и напрямую управляют вниманием, записью в KV-cache, вычислениями MLP и декодированием вертикального residual stream. На 20 млрд токенов FineWeb-Edu модель на 406M параметров снижает validation perplexity с 15.41 до 14.40, а в сочетании с hyper-connections и input residuals — до 13.61. Метод также улучшает Gated DeltaNet, Mamba-2 и их гибриды.

Эти результаты определяют постоянное состояние на каждом слое как дополнительную ось масштабирования вычислений языковой модели.

Ещё за этот день

2026-11-17