自己注意は本当に必要か——Grassmann多様体でTransformerに迫る新アーキテクチャ

Attention Is Not What You Need

系列モデリングにおける根本的な問いを再検討する論文。標準的なマルチヘッド注意は「テンソルの持ち上げ」であり、数学的に不透明だと指摘し、代わりにGrassmann多様体上の流れに基づく注意なしのアーキテクチャを提案する。トークン対をPlücker座標で2次元部分空間として符号化し、低ランク部分空間の変形として情報を伝播させる。Wikitext-2では1300万〜1800万パラメータで同規模Transformerの検証パープレキシティの約10〜15%以内に収まり、SNLIではDistilBERT上のGrassmann-PlückerヘッドがTransformerヘッドをわずかに上回る。