Forscher bauen Transformer ohne Self-Attention – und kommen erstaunlich nah heran

Attention Is Not What You Need

Ein Team hinterfragt, ob explizite Self-Attention für starke Sprachmodelle überhaupt nötig ist. Statt einer L-mal-L-Attention-Matrix kodiert der Causal Grassmann Layer Token-Paare als zweidimensionale Unterräume auf einer Grassmann-Mannigfaltigkeit über Plücker-Koordinaten. Auf Wikitext-2 erreichen Modelle mit 13 bis 18 Millionen Parametern Perplexitäten, die nur 10 bis 15 Prozent über gleich großen Transformers liegen; auf SNLI übertrifft ein Grassmann-Plücker-Kopf DistilBERT sogar leicht.