「Attention」は知能の本質なのか？
Is 'Attention' the Essence of Intelligence?
2014年、モントリオール大学のインターンDzmitry Bahdanauが、長文翻訳の精度を劇的に向上させる「attention」という数学的操作を発明した。これが2017年のTransformer論文「Attention Is All You Need」へとつながり、ChatGPTやClaudeなど大規模言語モデルの基盤となった。本記事は、attentionの仕組みを解説し、次単語予測がAI完全問題である可能性を通じて、知能の本質に迫る。
「動物は通りを渡らなかった。疲れすぎていたからだ」と「動物は通りを渡らなかった。通りが広すぎたからだ」——この曖昧な代名詞「it」を正しく翻訳するには、文脈に応じて動物（男性名詞）か通り（女性名詞）かを判断する必要がある。attentionは、まさにこの問題を解決するために生まれた。
HNでの議論
79- antics
NLPをやっている者として、この説明を支持するのは非常に難しい。なぜなら、ここで説明されているVaswaniらのTransformerは、最も重要な要素である位置エンコーディングを追加するまでは、単純に機能しないからだ。
文の意味のほとんどは、トークンが現れる正確な順序によって示される。これは英語のような言語で最も分かりやすい。なぜなら、2つの非常に顕著な形でそれが見えるからだ。
第一に、形態論はかなり派生指向であり、つまり、どんどん接尾辞を付け加えても、英語話者はたいていあなたの言いたいことを理解する。例えば、その単語にもっと接尾辞を追加してみよう: derivational-ish-ly。この特定の変種を聞いたことはおそらくないだろうが、それでもその意味について何となくわかるだろう。Transformerがこれらの意味を捉えられるのは、接尾辞が単語の語根（おそらく `deriv` のようなもの）の意味を変化させるという事実を何らかの形で表現している場合だけだ。英語はこれを完全に、接尾辞が語根に対してどの位置にあるかによってエンコードする。位置情報がなければ、それを復元する方法はなく、英語はこの構文に大きく依存しているため、文は多くの意味を失うだろう。
第二に、英語は格が比較的少ないため、主語と目的語を示すために語順に非常に大きく依存している。英語は特に主語-動詞-目的語（SVO）であり、英語母語話者がSVO順序を使う本能は非常に強いため、名詞を挿入したり […]
- jvanderbot
CS論文を読むときのルール1：擬人化された用語を信用するな。ルール2：それらの用語を実際の心に外挿するのは絶対にやめろ。
もちろん、attentionは読者が使うヒューリスティックである可能性はほぼ確実だが、それを知能の鍵として持ち出すこと自体、LLMと心についてあまりにも多くの疑問を引き起こす…
- scarmig
「attention」という用語は、明らかにされている以上に混乱を招く。よく知られた用語を、人間の脳の働き方への弱いアナロジーと交換しているだけだ。必要なのはカーネル平滑化だけである。
- andy_ppp
元の論文のタイトルはキャッチーだが、実際には「位置エンコーディングとattentionとattentionヘッド間の並列性がすべて必要なのだ…」という感じだ。
そして、おそらく巨大な計算資源、約1/3のRLHF、世界中のデータ、そして何百万人もの人々が自分のプライベートデータをAIに接続して学習させることなど、他のものもすべて必要なのだろう :-/
- 0xWTF
これが核心的な洞察であり、元の大学院生著者自身の言葉で言えばこうだ：
https://www.quantamagazine.org/is-attention-the-essence-of-i...
「『it』のような代名詞を含む文は、attentionが克服する課題を例示している。考えてみよう：『The animal didn’t cross the street because it was too tired.』そして：『The animal didn’t cross the street because it was too wide.』これらの文をフランス語に正しく翻訳するには、AIモデルは、最初の文では『it』が動物を指し、フランス語では男性名詞であるため、翻訳では代名詞のその形、ilを使うべきだと判断しなければならない。しかし2番目の文では、『it』は通りを指し、女性名詞であるため、別の代名詞elleが必要だ。機械はどうやってこれを理解できるのか？」
「Bahdanauは、学校で英語を学んでいたときに翻訳の練習をしたことを覚えていた。翻訳した文の次の単語を書くには、次に何が来るべきかを把握するために、原文全体をあちこち見なければならなかった。『文字通り、左に原文、右に自分の書いているものがあって、首を左右に、左-右、左-右と振ることになる』と彼は言った。『そのプロセスを私が神経メカニズムとして表現したのだ。』
この単純さこそが、これが本当の洞察であることの真の証拠のように私には思える。著者は、読者を長いリストの注意散漫要素のそばを通り過ぎさせ、洞察への道の感覚を呼び起こすのがうまい。そして、そこに洞察がある——単純なタスクの単純なエンコーディングだ：『次の単語は何か？どうやって […]