MITとAdobeが「潜在格子」で言語モデルの新次元を開く

Latent Lattice Language Models

MITとAdobeの研究チームは、層ごとに水平方向へ持続する「Lattice of Latents」を提案。深さ方向の残差ストリームに加え、トークンをまたいで状態を保持する計算ストリームを導入する。20Bトークンで訓練した406Mパラメータのモデルは、同規模Transformerの検証パープレキシティを15.41から14.40へ改善。hyper-connectionsなど既存手法とも組み合わせ可能で、Gated DeltaNetやMamba-2でも一貫した向上を示した。

これらの結果は、層ごとに持続する状態が、言語モデルの計算をスケールするための相補的な軸であることを示している。

この日のほかの記事

2026-11-17