MIT·Adobe, 층마다 가로로 흐르는 잠재 상태로 언어 모델 성능 끌어올려
Latent Lattice Language Models
MIT와 Adobe 연구진이 제안한 Lattice of Latents는 층을 따라 흐르는 세로 residual stream 옆에 토큰 간에 지속되는 가로 잠재 스트림을 추가해 모델의 계산 용량을 늘린다. 20B FineWeb-Edu 토큰으로 학습한 406M 파라미터 모델에서 validation perplexity를 15.41에서 14.40으로 낮췄고, 기존 residual 개선 기법과 결합하면 13.61까지 떨어진다. Gated DeltaNet, Mamba-2 등 recurrent 백본에서도 일관된 향상을 보인다.
이 결과들은 층별 지속 상태가 언어 모델 계산을 확장하는 보완적 축임을 보여준다.