Latent Lattice:语言模型计算新维度
Latent Lattice Language Models
传统语言模型通常通过加深网络或增加推理步骤来提升性能,但这项研究提出了一条新路径:增加计算容量。MIT 与 Adobe 团队引入了 Latent Lattice(潜在格),在垂直的残差流之外,增加了沿时间轴运行的水平潜在流。这些持续存在的状态直接调节注意力、KV-cache 写入及解码过程。实验显示,在 20B FineWeb-Edu 令牌训练下,406M 参数的 Lattice 模型将验证困惑度从 15.41 降至 14.40,显著优于同参数 Transformer。该架构不仅可与超连接等现有增强技术组合,还在 Mamba-2 等递归模型中展现出超越更大原生状态基线的潜力,为语言模型扩展开辟了互补轴。
这些结果将每层持久状态确定为扩展语言模型计算的一个互补轴。