凭直觉也能发明 transformers？

You could have invented transformers from memory

如今我们早已习惯向大语言模型询问各种冷僻事实，却很少思考它们究竟如何存储海量信息。本文从直觉出发，将线性层、MLP 和 self-attention 拆解为不同类型的记忆存储机制。通过分析干扰与信号的比例，文章揭示了从基础的外积存储到最优线性存储，再到引入非线性激活的 MLP 和 self-attention 的演进逻辑。这一视角不仅解释了模型容量的提升路径，更让人惊叹：如果理解得当，你完全有可能凭借直觉重新发明 transformers。