ニューラルネットワークの内部に「記号構造」が潜んでいることを実証
The Emergent Symbolic Structure of Artificial Neural Networks
現代のAIは、連続ベクトルで情報を表現するニューラルネットワークでありながら、言語や論理といった記号構造が重要とされる領域で驚異的な性能を発揮します。この論文では、その内部表現が実は暗黙のうちに記号構造を実現しているという仮説を提示。様々なニューラルネットワークのベクトル表現が、閉形式の方程式で表される記号構造で近似できることを示し、その近似によってLLMの内部表現に介入して行動を精密に変更できることを実証しました。算術、論理、コード、言語の4領域で検証し、記号的な知能観とベクトルベースの現代AIを橋渡しする可能性を探ります。
見かけに反して、ニューラルネットワークの内部表現は、暗黙のうちに記号構造を実現しているのかもしれない。
HNでの議論
88- sigpwned
私が得た大きな疑問は以下の通りです：
(1) 彼らは、LLMなどを含む対象に対して、見かけ上は全単射的な閉形式の記号的表現・近似を生成できると主張している。これらの閉形式表現の評価は、より計算効率的なのだろうか？その含意は潜在的に非常に大きい。それは本質的に解析的蒸留となるだろう。データセンターではなくチップ上の寓話は、多くの点で重要かつ破壊的となるだろう。
(2) 教師なし、さらには教師ありの記号的問題解決アプローチは、とりわけ組み合わせ爆発によって破綻する。これは潜在的に、LLMのトレーニングと推論を、他のアプローチでは到達できなかった新しいクラスの複雑な問題を解決するための新しい記号的手法を探索するアルゴリズムとして扱うことを可能にするかもしれない。それが機能するなら、フィードバックループにもなるだろう。一方の表現からの学びが他方の進歩を促進する。また、モデル自体が価値を持つようになるため（推論だけでなく）、大規模なトレーニング実行の経済的価値も高まるだろう。
(3) 上記に関連して、これはLLMの設計をより高い能力へと押し上げることができるか？
これとAnthropicのJ空間の観察との関係も興味深い。しかし、これははるかに深く、より直接的に実行可能である。
追記：私は自分の質問をSonnetに通してみた（皮肉だとは思うが）ところ、質問(1)と(2)についてはあまり楽観的ではなかったが、(3)は妥当だと考えていた。いずれにせよ、これはかなりの論文である。振り返ってみると、確かにこのアプローチは[…]
- jsrozner
これらの教師あり*解釈可能性アプローチの大きな問題の一つは、見せかけの構造を見つけてしまう可能性があることです。（モデルを望み通りに動かす方法はたくさんあります。これはおおよそHewitt and Liang 2019が示したことです。）この論文は、20ページで以前の手法であるDAS（分散アライメント探索）との対比を描いています。これらの手法や関連手法は因果抽象化の理論に基づいていますが、それは理論的には素晴らしいものの、実際には難しいものです。例えばDASは、最近多くの批判に直面しています（Makelov 2024、Meloux 2025、Sutter 2025、Grant 2026、Kumon 2026）。私が最も好きなのは、非常にわかりやすいMelouxらの論文ですが、Sutter 2025も非常に優れており、しかしすべての入力を損失なくエンコードできる実数引数に依存しています。
私がEMNLPに提出予定の論文では、代わりに、敵対的に摂動させたときにモデルの学習・行動に与える影響という非常に単純な概念に表現の概念を基づける代替案を提供します。例えば、モデルに対して「私はアヒルが鳴いているのを見た」という文脈で「アヒル」を「グラム」に置き換えるべきだと伝えた場合、「会議から抜け出す必要がある」という文脈と「公園でアヒルが自分の雛を守っていた」という文脈で、モデルが「アヒル」を「グラム」に置き換えたいとどの程度望むでしょうか。この手法は非常にうまく機能することがわかり、単一の例のみを使用するため、教師ありの必要性を回避できます。
リンクされた論文は、彼らの手法であるDISCOVERは、因果効果を直接最適化しないため、DASと同じ意味で教師ありではないと主張しています。私はこれをざっと見ただけですが、[…]
- gps372
記事を読んでいるうちに、なぜこれがバイトコードからJavaプログラムを復元する能力よりも興味深いのか疑問に思いました。そこでCopilotに同じ質問をしてみました。すると、「正直なところ、ここにエンジニアと研究者の違いが現れます！」と教えてくれました。
- jkingsman
ここでの数学と中核的な実験は私の能力を超えていますが、私が理解したと思うのは、LLMには、文法における中核的な概念的関係の蒸留であり、層に塗りつぶされたノイズのように見えて、どういうわけか（意味のある意味で）解釈不可能に正しい文法や推論に解決されるものではなく、数学的な意味で理解できるより深い表現パターンが存在する可能性があるということです。
それはかなりクールです。私の理解がだいたい正しいことを願っています。
- 4b11b4
もっともらしいですね…モデルが時々、本質的に記号的な何かの損失のあるベクトル表現を学習している…確かに、ニューラルネットワークは関数を近似できるのでしょうか？
彼らはこれが成り立つと言っています…彼らが見つけたいくつかの例は？
この分野についてはあまり詳しくありません