Вы могли бы изобрести трансформеры по памяти

You could have invented transformers from memory

Автор объясняет, как линейные слои, MLP и self-attention можно рассматривать как разные типы ассоциативной памяти. Ключевая метрика — отношение интерференции к сигналу. Линейное внешнее произведение хранит примерно d_k воспоминаний, оптимальная линейная память — вдвое больше, а self-attention с 64-мерными ключами может хранить более миллиона. Статья показывает, как из первых принципов прийти к трансформерам.