Attention 并非必需：Grassmann 流的新路径

Attention Is Not What You Need

我们重新审视序列建模的一个基本问题：显式的 self-attention 真的是实现强大性能和推理能力的必要条件吗？文章提出，标准的多头注意力机制本质上是一种张量提升（tensor lifting），虽然表达力极强，但数学上难以解释。作为替代方案，我们提出了一种基于 Grassmann 流的无注意力架构。该架构不构建 L by L 的注意力矩阵，而是通过 Plucker coordinates 将局部 token 对编码为 Grassmann 流形上的二维子空间，并通过门控混合将几何特征融合回隐藏状态。在 Wikitext-2 基准测试中，仅基于 Grassmann 的模型性能已接近同规模 Transformer；在 SNLI 任务上，Grassmann-Plucker 头甚至略胜于 Transformer 头。这种基于流形的设计为神经推理的几何解释提供了更结构化的路径。