推論が解いている目的関数は、実は存在しない
What objective is reasoning solving?
推論をトークン空間の経路探索として捉えると、RLは正解に至る経路を見つける確率を最大化しているにすぎず、個々の思考の連鎖が正解へ収束する保証はない。長く考えるほど精度が上がるのは、学習時に探索へ投じた計算を重みに償却しているからだ。この視点は、思考の連鎖が忠実でない理由や報酬ハッキングが検証器とサンプラーの両方から生じる仕組みも説明する。
推論は実際には何らかの目的関数を解いているわけではない。ある経路が正解へ収束することは保証されておらず、経路の分布全体で見たときに初めて高い成功確率が得られるのだ。
HNでの議論
67- htrp
私はサンフランシスコを拠点とする研究者です。世界がどこに向かっているのか、そこに到達するために何が必要なのかを想像するのが好きです。
スタンフォード大学でコンピュータサイエンスの博士号を取得し、系列モデリングと記憶のための長文脈アーキテクチャを設計しました。その前はコーネル大学で数学と物理学を学びました。最近ではCartesiaで研究科学者として、インコンテキスト・トークン化と新しいアーキテクチャ（HNets）に取り組んでいました。
MSLのAlex Wangではありません。
- derefr
それは、人間の脳における「思考の連鎖」（内なる発声）が解決するのと同じ問題を解決します。つまり、聞いたり読んだりした言葉のエピソード記憶として「知っている」ことはたくさんあるけれど、まだ練習を通じて反射反応として内面化していない、ということです。いくつかの単語の記憶を獲得する方が、まったく新しいスキルを獲得するよりもはるかに速くて安価なので、与えられたトレーニングコーパスからは、具体的なスキルよりもはるかに多くの言葉の記憶を拾い上げることになります。
推論（つまり、それらの記憶された言葉を心的文脈に呼び起こし、注意マスクされた文脈の内容と進行中の状態に依存する事実上任意のシナプス活性化をトリガーする特別な橋渡し反射をそれらに適用すること、別名「システム2思考」）は、言葉の記憶を有用な行動に活用する方法です。シナプスの重みに埋め込まれた生来のスキルを実行するのではなく、言葉の記憶データのインタプリタとして機能する単一の非常に高度な生来のスキルを実行し、心に保持している言葉をゆっくりと苦労しながら、より多くの言葉（統合）に、あるいは他の記憶（言葉の記憶であれそうでなかれ）への連想に、あるいは行動や出力などに変えていくのです。
（このシステムの特に有用な「トリック」は計画です。つまり、インタプリタを「単なる言葉」からさらに「単なる言葉」を呼び起こす連鎖を通して、これから何をするかを宣言する言葉に到達するまでつなげることです。そうすれば、橋渡し反射の特別な部分、すなわち「指示追従」反射に頼って[…]）
- piker
> 問題を考えてみよう：「1 +2 +3 +⋯ +10 はいくらか？」一つの解法は、数字を一つずつ足していくことだ：1、3、6、10、…と55まで。もう一つの方法は、外側から内側へペアにする：1 +10、2 +9、3 +8、4 +7、5 +6 はそれぞれ11になり、11のペアが5つで55になる。どちらの道も正しい答え、55にたどり着く。
息子が難しい数学の問題を解くのを見ていて、このことに気づかされた。私の頭の中には一つの「正しい」道があり、しばしば彼の思考の連鎖を遮ってしまいそうになる。彼はよく、ただ別の方法でそこにたどり着いているだけなのだ。
- vova_hn2
現在の、思考の連鎖推論を重みに焼き込むアプローチが最終形だとはとても思えない。あまりに偶発的で場当たり的に見える。
追伸：あのアニメーションの鳥は本当に魔法みたいだ！
- vatsachak
Alexは「transformers as memory」のブログも書いていた。美しい。誰か彼に大金をあげてほしい。