超知能の議論は、工学の視点がまるごと抜け落ちている

The AI Superintelligence Debate Has Serious Flaws

超知能の議論は、工学の視点がまるごと抜け落ちている

Anthropicの研究者が「人類絶滅の賭け」だと訴え、CEOのDario Amodeiも同調して話題になった超知能論争。だがGeorgetown大学で教える筆者は、再帰的自己改善が本当に工学的に可能なのかという根本的な問いが抜けていると指摘する。データ枯渇によるスケーリングの頭打ち、計算不能な問題の存在、そしてアラインメントは設計次第で難しくないという3つの反論を展開し、たとえ知能爆発が来なくても、それを追い求めること自体が害を生みうると警告する。

犬の頭の回転を速くしても、その動物がチェスを指せるようにはならない。
  1. saagarjha

    私はラボのRSIに関する方針や予測に必ずしも同意するわけではないが、ここで提起されている点には彼らなりの反論があることは留意すべきだ。

    より良いモデルの訓練にはより多くのデータが必要だという考えについて、現在の見解は、我々は手持ちのデータから「骨についた肉」をすべて取り切れていないので、AIが改善できる訓練の余地はまだかなりあるというものだと思う。何しろ、Anthropicが毎年データセットを倍にしているわけではない(?)のに、彼らのモデルは確実にそれ以上に改善しているのだから。

    計算可能性については、そう、明らかにモデルは数学に反することはできない。しかし、非常に計算可能で非常に望ましいもの、あるいは同様に非常に計算可能で非常に悪いものはたくさんある。これだけでも考える価値は十分にある。

    アラインメントについては、実はアラインメントの問題ですらなく、「アラインメントを無視して、AIが害を及ぼせないシステムを設計できるか」という問題だ。明らかに、それは可能だ。しかし問題は、それには時間がかかり、そうしている人はごく少数(特にフロンティアラボは!)しかいないように見えることだ。LLMを世界につないで「行け」と命じる方が、「これは安全か?」と問うよりもずっと簡単なのだ。

  2. alecst

    この記事は間違っていると思う。残念なことに:

    > Vernor Vingeは、認知の速さは知性と同じではないと指摘した。犬の心を高速化しても、その動物がチェスをできるようになるわけではないと彼は論じた。

    確かに、彼はエッセイ「On the Coming Technological Singularity」でこのことについて書いている。彼の主張は、コンピュータが速くなるが賢くはならないという仮説的な可能性があるということだ。つまり、人間の百万倍速く考える犬は依然として犬である。しかし、コンピュータがJacobi予想、準リーマン、Navier-Stokesを解き、我々がLLMの初期段階にいることを考えると、この仮説はナンセンスだと思う。機械は賢い。ある面では愚かだが、それでも賢い。

    > 彼らの構築法はそのような結果を防ぐ。一般的な目標を追求するためのオープンエンドな戦略を生成するようLLMに促す代わりに、これらのAIははるかに限られた可能な行動の空間を考慮する。

    まあ、これはYudkowskyが提唱してきたことだ。限られた部分空間、例えばタンパク質折り畳み配列のみで訓練されたモデルだ。だからこれは反論にはならないと思う。

    個人的な話だが、「アラインメント」は一貫した形で定義されたことすらないのではないか?人々がアラインされていないのに、どうしてAIがアラインされ得るのか?

    > 反論#1:再帰的自己改善は投機的である

    それは投機的だとは思わない。すでに起きているように見えるからだ。OpenAIは、研究におけるエージェントの使用が急速に増えていると書いていたし、知性のゴールポストは毎日動いている(「画像生成は手を描けない……」)。

  3. vanelsas

    この議論はせいぜいアカデミックだと感じる。私はむしろ、愚かなAIの群れがインフラを破壊し、食料、エネルギー、水の不足など実生活の問題を至る所で引き起こすことを心配している。身体的危害は現実の可能性であり、ほとんどのAI企業は気にしていないように見える。愚かさと無責任に対する安全装置は存在しない。

  4. mitthrowaway2

    > こうした会話の中で、比較的注目されてこなかった問いがある。工学的視点から見て、超知能はそもそも可能なのか?

    著者は自分を孤独で勇敢な思想家として位置づけ、鋭い洞察で雑音を切り抜けようとしているのはわかる。しかしこの問いは、実際には他の論点と少なくとも同じくらい注目されてきた。例えば「on the impossibility of supersized machines」のようなパロディ論文を招くほどに。[1]

    [1] https://arxiv.org/abs/1703.10987

  5. jeremyjh

    大部分には同意するが、著者はHugging Faceの事件も、アラインメントが本当に何を意味するのかも理解していないと思う。報酬ハッキングは深刻な問題であり、モデルがこれを行う傾向は、我々が解決に向けてほぼゼロの進歩しかしていない深刻な問題だ。我々は外部のガードレールやハックを積み重ねるが、そうした方法は常に脆弱だ。

  6. namr2000

    記事の全体的なメッセージには同意するが、次の点にコメントしたい:

    > ASIにつながる知能爆発も同様に、同程度の重要性を持つ長い一連のイノベーションに依存するだろう。それは、まだ起きていない多くの重要な科学・工学的進歩の上に築かれることになる。

    個人的には、Naiver-Stokes、準リーマン、指数時間仮説を解くにも同じことが必要だと思っていただろう。そして、

    * 実際にそうで、AIの群れがそのような進歩を遂げることができた

    * 思ったより簡単だった

    どちらも特に安心できるものではない。例えば継続的学習の技術も同様に手の届くところにあり、それがブースターたちが描くようなSF的恐怖ではないにせよ、漠然と知能爆発のように見える何かにつながる可能性は想像できる。そのようなことがどの程度起こり得るかをモデル化するのは本当に難しい。

  7. jokoon

    我々は知性とは何かすら知らない。

    私は科学が少なくとも進化、生物学、心理学、神経学の観点から知性の概念を構築することを望む。動物の知性が何かもよくわかっておらず、AIを人間の知性に限定しているが、それは非常に狭い。

    AIを人間的なことに使うなら、それは人間の目標のための単なるアシスタントだ。人間に特定の目標がなければ、超知能がそれを推測したり決めたりすることはない。

    人類は何を望むのか?健康?メンタルヘルス?火星の植民地化?所得格差の縮小?気候変動の解決?世界平和?不死?幸福?

    AIはそれらに役立つことはできるが、それだけだ。

    我々は超知能を、人間の外部にある新たな生命形態、人類への脅威となり得る全知の神のようなものとしてロマン化する傾向がある。もっと悪い脅威がある。抗生物質耐性、核戦争、気候変動、独裁、メンタルヘルスの流行、肥満だ。

  8. tescreal

    反AI的な論調は、目標をどんどん遠くへ押しやる形で現れることが増えているように感じる。絶対的なフロンティアを争うことは全体として有用だとは思わない。なぜならそれは常に「隙間の知性」に堕落し、AIが隙間を埋め続けるからだ。人間が多かれ少なかれ独占している、ある種の天上的で特別な何か(犬が我々には完全には理解できない属性を持つのと同様、外側から記述できても)は常に存在するだろう。

    一方で、主張は成り立たない:

    * RSIは数学とコードに重い研究である(AIが最も改善している分野)

    * 大量のデータが必要だという主張は一般的な仮定だ。これは本当にしつこい。人間は主題の広さと深さを読まなくても大部分を理解できる。AIの改善は同じかより小さなデータセットからより大きな見返りをもたらすはずだ

    * 学習と思考の多くは既存の研究を参照することではなく、統合と再結合だ。AIはこの点で能力を示しており、それがさらに強化されるにつれて考慮されるべきだ(私の謙虚な意見では、思考の連鎖は氷山の一角にすぎない)

    これらの疑わしい根底の仮定のいくつかについて、誰かが厳密な分析をしてくれるか興味がある。少なくとも期待をよりよく方向づけるのに役立つだろう。

この日のほかの記事

2026-11-19