Attention 없이도 Transformer 성능의 90%에 도달한 Grassmann 흐름 모델

Attention Is Not What You Need

이 논문은 자기주의(self-attention)가 정말로 강력한 성능과 추론에 필수적인지 근본적으로 되묻는다. 저자들은 표준 multi-head attention을 고차원 쌍별 상호작용 공간으로의 텐서 리프팅으로 해석하고, 대신 Grassmann 다양체 위에서 저차원 부분공간을 변형시켜 정보를 전달하는 Causal Grassmann 레이어를 제안한다. 1300만~1800만 파라미터 모델이 Wikitext-2에서 크기 대응 Transformer의 perplexity에 10~15% 이내로 근접했고, SNLI에서는 DistilBERT 위에 얹은 Grassmann-Plücker 헤드가 Transformer 헤드를 근소하게 앞섰다. 시퀀스 길이에 대해 선형으로 확장된다는 점도 보인다.