Учёные построили языковую модель без self-attention — и она почти не уступает Transformer

Attention Is Not What You Need

Авторы статьи с arXiv задаются вопросом, действительно ли явный self-attention необходим для сильных результатов. Они предлагают архитектуру Causal Grassmann: вместо матрицы внимания размера L×L токены кодируются как двумерные подпространства на многообразии Грассмана через координаты Плюккера, а информация распространяется за счёт управляемых деформаций подпространств малого ранга. Модели на 13–18 млн параметров на Wikitext-2 отстают от Transformer того же размера по perplexity всего на 10–15%, а на SNLI слегка его превосходят. Сложность растёт линейно с длиной последовательности при фиксированном ранге.