Un modelo sin self-attention se acerca a los Transformers en rendimiento
Attention Is Not What You Need
Un artículo de arXiv cuestiona si la self-attention explícita es realmente imprescindible para un buen rendimiento en secuencias. Los autores proponen una arquitectura basada en flujos de Grassmann: la capa Causal Grassmann reduce los estados de los tokens, codifica pares locales como subespacios bidimensionales mediante coordenadas de Plücker y los fusiona con gated mixing. En Wikitext-2, modelos de 13 a 18 millones de parámetros quedan a un 10-15 % de perplejidad de Transformers del mismo tamaño; en SNLI, una cabeza Grassmann-Plücker sobre DistilBERT supera levemente a una cabeza Transformer.
En lugar de formar una matriz de atención de L por L, nuestra capa Causal Grassmann reduce linealmente los estados de los tokens, codifica pares locales como subespacios bidimensionales sobre una variedad de Grassmann mediante coordenadas de Plücker y fusiona estas características geométricas de vuelta en los estados ocultos mediante gated mixing.