ニューラルネットワークの内部に「記号構造」が潜んでいることを実証
The Emergent Symbolic Structure of Artificial Neural Networks
現代のAIは、連続ベクトルで情報を表現するニューラルネットワークでありながら、言語や論理といった記号構造が重要とされる領域で驚異的な性能を発揮します。この論文では、その内部表現が実は暗黙のうちに記号構造を実現しているという仮説を提示。様々なニューラルネットワークのベクトル表現が、閉形式の方程式で表される記号構造で近似できることを示し、その近似によってLLMの内部表現に介入して行動を精密に変更できることを実証しました。算術、論理、コード、言語の4領域で検証し、記号的な知能観とベクトルベースの現代AIを橋渡しする可能性を探ります。
見かけに反して、ニューラルネットワークの内部表現は、暗黙のうちに記号構造を実現しているのかもしれない。
HNでの議論
108- adsharma
この結果には勇気づけられる。latentpedia.org の背後にある主要な仮説がこれだ。モデルの幾何学を巨大な知識グラフに蒸留する代わりに、既知の最大のオープンソースグラフから始めて、この幾何学に似たものへと構築していく。ぜひ参加してほしい。github.com/latentpedia で議論しよう。基本的な技術は揃っている。必要なのは、より多くの計算リソース、ストレージ、そしてサービス提供のコストを賄えるだけのビジネスだ。
- sigpwned
私が得た大きな疑問は以下の通りだ。
(1) 彼らは、LLM などを含む対象に対して、見かけ上全単射的な閉形式の記号的表現・近似を生成できると主張している。これらの閉形式表現の評価は、より計算効率的なのだろうか？ その意味合いは潜在的に巨大だ。それは本質的に解析的蒸留だろう。データセンターではなくチップ上の寓話は、多くの点で重要であり、破壊的でもあるだろう。
(2) 教師なし、さらには教師ありの記号的問題解決アプローチは、組み合わせ爆発などにより破綻する。これは、LLM のトレーニングと推論を、他のアプローチでは到達できなかった新しいクラスの複雑な問題を解くための新しい記号的アプローチを探索するアルゴリズムとして扱うことを可能にするかもしれない。それが機能するなら、これもフィードバックループになるだろう。一方の表現からの学びが、他方の進歩を促進する。これはまた、大規模なトレーニング実行の経済的価値を高めるだろう。なぜなら、モデル自体が価値を持つようになり、推論だけでなくなるからだ。
(3) 上記に基づき、これは LLM の設計をより大きな能力へと押し上げることができるか？
これと Anthropic の J-space の観察との関係も興味深い。しかし、これははるかに深く、より直接的に実行可能だ。
編集: 自分の質問を Sonnet に通してみた（皮肉であることは承知している）が、質問 (1) と (2) についてはあまり楽観的ではなかったが、(3) は妥当だと考えていた。いずれにせよ、これはかなりの論文だ。振り返ってみると、確かに appa[...]
- jsrozner
これらの教師あり*解釈可能性アプローチの大きな問題の 1 つは、見せかけの構造を見つける可能性があることだ。（モデルを思い通りに動かす方法はたくさんある。これは Hewitt and Liang 2019 がほぼ示したことだ。）この論文は、20 ページで以前の手法である DAS（分散アライメント探索）との対比を描いている。これらの手法および関連する手法は、因果的抽象化の理論に基づいているが、それは理論的には素晴らしいが、実際には難しい。例えば DAS は、近年多くの批判に直面している（Makelov 2024、Meloux 2025、Sutter 2025、Grant 2026、Kumon 2026）。私のお気に入りは、かなり親しみやすい Meloux らによるものだ。Sutter 2025 も非常に良いが、すべての入力を可逆的に符号化できる一種の実数引数に依存している。
私が EMNLP で発表予定の論文は、代わりに、敵対的に摂動したときにモデルの学習/行動に与える影響という非常に単純な概念に表現の概念を基づける代替案を提供する。例えば、「アヒルがガアガア鳴いているのを見た」という文脈で、モデルに「アヒル」を「グラム」に置き換えるべきだと伝えた場合、「会議から抜け出す必要がある」という文脈と「公園でアヒルが自分のアヒルの子を守っていた」という文脈で、モデルが「アヒル」を「グラム」に置き換えたいとどの程度望むか。この方法は非常にうまく機能することがわかり、単一の例のみを使用するため、教師あり学習の必要性を回避できる。
リンクされた論文は、彼らの手法 DISCOVER が DAS と同じ意味で教師ありではないと主張している。なぜなら、因果効果を直接最適化しないからだ。私はこれをざっと見ただけだが、[...]
- jkingsman
ここの数学と中核的な実験は私の能力を超えているが、私が理解していると思うのは、LLM には、文法における中核的な概念的関係の蒸留であり、層に塗りつぶされたノイズのように見えて、どういうわけか（意味のある意味で）解釈不能に正しい文法/推論に解決されるものではなく、数学的な意味で理解できる、より深い表現パターンが存在する可能性があるということだ。
それはかなりクールだ。私がそれをほぼ正しく理解できていることを願う。
- gps372
記事を読んでいるうちに、なぜこれがバイトコードから Java プログラムを復元できることよりも興味深いのか疑問に思った。それで Copilot に同じ質問をしてみた。すると、こう言われた。「正直なところ、ここにエンジニアと研究者の違いが現れています!」と。
- profsummergig
人間の心は、多次元空間の容量を理解することはできない。
2D から 3D に移行するだけでも、膨大な新しい位置的可能性が生まれる（例えば、地球の表面と地球の上の大気）。
さあ、1000 次元を想像してみてほしい。
- 4b11b4
もっともらしい話だ... モデルが時々、本質的に記号的な何かの損失のあるベクトル表現を学習しているということ... 確かに、ニューラルネットワークは関数を近似できるだろう？
彼らはこれが... 彼らが見つけたいくつかの例で成り立つと言っているのか？
この分野については十分に知らない。
- squidbeak
このようなものを（素人として）読むと、これらを「次トークン予測器」と矮小化することは、馬鹿げたほど還元的に思える。いつか、「予測」よりも「選択」の方が適切な用語であることを認める必要があるだろう。