Attention：智能的本质？
Is 'Attention' the Essence of Intelligence?
2014年，一名实习生Dzmitry Bahdanau在解决英法翻译难题时，意外发明了“Attention”机制，彻底改变了AI的发展轨迹。这一机制让神经网络能够像人类一样，在处理长句时灵活“关注”关键信息，从而解决了翻译中的指代歧义问题。随后，Google团队基于此开发了Transformer架构，并发表了“Attention Is All You Need”的论文，直接催生了ChatGPT等大语言模型的爆发。如今，预测下一个词的能力被视为“AI-complete”，因为它涵盖了翻译、算术甚至数学推理等人类几乎所有书面任务。Attention不仅是机器理解语境的核心工具，更引发了我们对智能本质的深刻思考：人类大脑是否也在使用类似的机制？
预测下一个词这项任务之所以可能是AI-complete，是因为它作为一个子任务，实际上包含了人类在书面形式上所做的几乎所有事情。
HN 评论区
73- antics
作为一个 NLP 从业者，我很难认同这种解释，因为文中描述的 Vaswani 等人的 transformer 模型，如果不加入最重要的成分——位置编码（positional encoding），根本行不通。
句子的大部分语义是由 token 出现的精确顺序决定的。这一点在像英语这样的语言中尤为明显，主要体现在两个方面。
首先，英语的形态学（morphology）主要是派生性的，这意味着你可以不断给词添加后缀，而英语使用者通常能理解你的意思。比如给那个词多加几个后缀：derivational-ish-ly。你可能从未听过这个具体变体，但你应该还是能大致猜出它的意思。transformer 只有在拥有某种表示“后缀如何改变词根（大概是 `deriv` 这种形式）含义”的机制时，才能捕捉到这些语义。英语完全依靠后缀相对于词根的位置来编码这一信息。如果没有位置信息，就无法恢复这种关系，句子也会因此失去大部分意义，因为英语高度依赖这种结构。
其次，英语的格（cases）相对较少，因此非常依赖词序来指示主语和宾语。英语具体是主谓宾（SVO）结构，母语者使用 SVO 语序的本能如此强烈，你会发现他们会强行插入名词和 p […]
- 0xWTF
这是核心洞察，引用一些原作者（一名研究生）的原话：
https://www.quantamagazine.org/is-attention-the-essence-of-i...
“包含代词（如 'it'）的句子说明了注意力机制所克服的挑战。考虑以下两句：'The animal didn't cross the street because it was too tired.'（那只动物没有过马路，因为它太累了。）以及 'The animal didn't cross the street because it was too wide.'（那只动物没有过马路，因为它太宽了。）要将这两句话正确翻译成法语，AI 模型必须确定：在第一句中，'it' 指的是动物，这在法语中是阳性词，所以翻译时应使用代词 il。但在第二句中，'it' 指的是街道，这是一个阴性词，需要使用不同的代词 elle。机器该如何弄清楚这一点呢？”
“Bahdanau 记得他在学校学英语时做过翻译练习。为了写出译文中的下一个词，他不得不环顾整个源文本，以弄清楚接下来该写什么。他说：‘字面上，你的源句在左边，你的译文在右边，你会不停地转头，左看右看，左看右看。’‘这个过程就是我将其表达为神经机制的内容。’
在我看来，这种简单性才是真正揭示这是核心洞察的关键。作者很好地引导读者绕过了一长串干扰项，营造出一种通向洞察的路径感，然后，洞察出现了——一个简单任务的简单编码：‘下一个词是什么？我该如何 […]'
- jvanderbot
阅读 CS 论文的第一条规则：不要相信那些拟人化的术语。第二条规则：绝对不要将这些术语外推到真实的人类心智上。
当然，注意力几乎肯定是读者使用的一种启发式方法，但将其作为智能的关键提出来，却引发了关于 LLM 和人类心智的无数问题……
- scarmig
“注意力”这个词带来的困惑多于揭示，它用众所周知的术语换取了一个关于人脑如何工作的薄弱类比。你只需要核平滑（Kernel smoothing）。
- andy_ppp
原始论文标题很 catchy，但更像是“位置编码、注意力以及注意力头之间的并行化，这些就是你所需要的一切……”。
而且事实证明，你可能还需要海量的算力，大约 1/3 的 RLHF，世界上所有的数据，以及数百万人连接他们的私人数据供 AI 学习，等等 :-/