Scott Aaronson: LLMに自己言及性は不要だった——知能の本質は予測と圧縮にある
LLMs and Self-Referentiality
Scott Aaronsonが、Hofstadterの『ゲーデル、エッシャー、バッハ』以来、知能の本質と考えられてきた自己言及性や「ストレンジ・ループ」が、実際のLLMには一切組み込まれていないと指摘。GPT-5.6 ProやFableなどの自己言及能力は、事前学習の副産物として自然に出現したものであり、技術スタックのどこにも明示的な自己参照は存在しない。Aaronsonは、知能の本質が予測、圧縮、コルモゴロフ複雑性にあるという古い考えが結果的に正しかったと論じ、自己言及性が知能に必須だという考えは歴史的な誤りとして葬られるべきだと主張する。
知能についての古くからの大きな考え方で、最終的に正しかったのは、知能とは予測であり、予測とは圧縮であり、圧縮とはコルモゴロフ複雑性へのより良い上限を見つけることだという考え方だった。自己言及的な話ではなかった。
HNでの議論
65- thatjoeoverthr
自己言及性の欠如は、推論中に実際に発生する多くの障害の根底にある中核的な問題ですが、彼らの広範さとエージェントハーネスがそれをうまくカバーしているため、それを目撃するには少し突っつく必要があります。「幻覚」現象はまさにこれです。彼らは自分自身の知識の範囲を知らず、ただ何かを言うだけなので、範囲外に出ると、真実でない主張を発する確率が高くなります。RAG（埋め込みインデックスを意味するのではなく、エージェントハーネスが検索を実行するなどのあらゆる情報摂取を意味します）は、それをカバーするのにいくらか効果的で、それらを非常に有用にするのに十分です！しかし、それがうまくいかないときは、一般的に同じ理由です。それは特定の性質を持っており、時にはそれに違反することがあります。
しかし、それは推論を損なうことはないと思います！
- m-hodges
私はGEBの概念をLLMについて考える際に多く使ってきました。
自己言及性とMUパズルについて：https://matthodges.com/posts/2025-04-21-openai-o4-mini-high-...
プロンプト安全なAIのゲーデル的限界について：https://matthodges.com/posts/2025-08-26-music-to-break-model...
パターンマッチングと推論の曖昧な境界線について：https://matthodges.com/posts/2026-08-19-bongard-problems/
この投稿の著者が最後にこう締めくくっているのは嬉しいです：
> 残っているのは何か？意識
なぜなら、GEBを（何度も）読んだとき、その本は会話型知能の閾値よりもはるかに深いと感じるからです。
- gwd
これについて2つのコメントを、「どの仮説が証拠に適合するか」というアプローチで試みます。
第一に、LLMが自身の経験を説明することは、それが実際に意識している経験を持っている証拠にはなりません。LLMが他の事実を自信を持って主張することが、その事実が真実であると知っていることを意味しないのと同じです。LLMは、実際に音楽を聴いたり味を味わったことがないにもかかわらず、読んだ情報に基づいて音楽や味を説明します。同様に、「意識のないスパイシーなオートコンプリート」は、人々が自分の経験について話すのを入力として持つだけで、自身の経験について話すLLMを生成するでしょう。
とはいえ、第二に、LLMのアーキテクチャについて私が少し理解している範囲では、多くの自己言及的なメカニズムが組み込まれていると信じています。まず、ほとんどすべてのトランスフォーマーには「残差層」があり、さまざまなニューラルネットワークが本質的にそれを読み取り、修正します。これは事実上ループを形成します。さらに、「思考」メカニズムにより、書いたものを読み、さらに多くのものを生成することができ、これもまたループです。
だから、人々が「ねえ、ループをいくつか作ろう、そうすれば意識が生まれるかもしれない」と考えたわけではないかもしれません。しかし、「ストレンジループ」が意識を定義するものならば、そこにはそのようなストレンジループが形成され得るループがたくさんあります。
- macleginn
「説得力のある、世界を変える会話型知能を得る前に、明示的な自己言及性が必要だという考え」—誰かがこの実際の考えや論理的に同等のものを定式化したことがありますか？これは強力な藁人形のように見えます。
- killerstorm
おそらく「真の」自己言及性は必要ありませんでした。しかし、「動的フィードバック」は不可欠であり、それは自己言及性に隣接しているように思われます。
最適化プロセスを見ると、まず順伝播が出力を生成します。次に、順伝播中に発生した計算を調べ（つまりバックプロパゲーション）、より良い出力を生成できるようにパラメータを調整します。
このように定式化すると、自己言及性のように聞こえます（システムが自分が行ったことを調べる！）が、もちろん、実装は非常に単純です：順伝播からのアクティベーションを保存するだけです。そして、トレーニングプロセスには、順伝播を行うコードだけでなく、逆伝播を可能にするその計算の完全な記述も含まれます。つまり、実装が難しくない一種のアンロールされた自己言及性です。
おそらく、研究者が2つの別々の異なるパスを回避するトリックを見つければ、より効率的な学習を実装できるでしょう。私たちの脳はグローバルなバックプロパゲーションを行わず、よりサンプル効率的です。