AIが自らの研究開発を自動化すれば、知能爆発は起こるのか
Understanding Frontier Artificial Intelligence
AI企業の内部では、コードの大部分をAI自身が書くようになった。研究開発パイプラインの自動化が進めば、数年分の進歩が数カ月に圧縮される「知能爆発」が起きる可能性がある。本稿はその予備的証拠を評価し、恩恵と極端なリスクを分析した上で、政策対応を提言する。
能力の成長は社会が追いつけないほど加速し、人類は超知能AIの制御を失い、国家・企業・政府機関の内部および相互間の権力へのチェックが著しく損なわれる可能性がある。
HNでの議論
85- visarga
知能爆発が制御不能になるという前提は、ある種の素朴なプラトン主義だと思う。それはプロセス、つまり私たちが外部とどう相互作用し、フィードバックや検証を得るかを完全に無視しており、知能を領域を超えて移植可能なものとして扱っている。
私の見解では、AI（そして脳）でできるのはアイデアを思い描くことだけだが、知識はそれらのアイデアが世界と接触することから生まれる。AIを改良してもフィードバックが安くなったり、速くなったり、豊富になったりはしない。それは領域固有のものだ。そして知能はある領域から別の領域へと持ち越されるものではない。私は優れた心臓外科医かもしれないが、それが優れた投資家やAI研究者になるわけではない。
アインシュタインは忘れっぽかったし、ラマヌジャンやゲーデルは食事のような単純なことすら管理できなかった。ゲーデルは毒殺される恐怖から、食事はアデルが味見をすることに依存していた。誰でも、ある領域では天才でありながら、他の多くの領域では平均以下である人を知っているだろう。
なぜ知能は単純にすべての領域に適用されないのか？ なぜ博士号取得者はその領域に超特化していて、ジェネラリストではないのか？ なぜ優秀な科学者は自分の失読症を治せず、依然として苦労するのか——もし知能がどんな領域にも移植可能なら？
爆発の物語は、知能が大きくなってどんな領域にも流れ込む一つの実体であることを必要とする。私は知能が汎用的であることを否定する。
- sgt101
こちらの方がずっと良い：
https://www.rameznaam.com/p/471bbae4-1163-4048-944b-18f8b0bf...
- bob1029
最も有望な再帰的自己ブートストラップの手法は、現在の線形代数ブラックボックスを使って、競争力のあるシンボリックモデルを構築するより良い方法を見つけることだと思う。
AIモデルの究極の表現は、普通のコンピュータプログラムだ。理想的には、命令の線形テープとして。そのようなモデルがフロンティアに登場すれば、RSIモンスターはぐっと現実味を帯びてくると思う。
- andy_ppp
つまり、人類の全知識を与えられた上で次の単語を予測するというのは、どんな特定分野でも最高の人間より少し劣る程度（完璧なデータは得られないだろうから）で頭打ちになるに違いない。AIは自分が改善していると理解するために、どんなテストをするのか？ ある時点で、出力が実際に良くなっていることを知るのは不可能になるのではないか？
- lordnacho
人間の知能はどの時点で機械知能の足を引っ張ることになるのか？
機械が自己改善するとき、何をすべきかを評価している自分を想像してほしい。機械は大量の作業を行い、こう言って戻ってくる：「前回のホモロジー較正パスから、限界的超分解を超評価した。それは、亜一時的ムルチネーションがステルムリフィケーションのテンソルを過小指定することを示している。ここからどこへ行きたいか？」
これは、理解できないトピックについてWikipediaを読んでいるときのようなものだ。リンクをたどり、さらに多くの疑問とさらに多くのリンクが出てくる。一日中リンクを追い続けて、元の質問を忘れてしまう。
ただし今回は、すべての言葉がAIの作業から来ている。すでにそこにいて、何をすべきか教えてくれる外部の権威に頼ることはできない。
AIは、以前より賢くなったかどうかを教えてくれるようにあなたに求めるが、あなたにはわからない。もうその推論を追えないからだ。それは、普通の人が数学教授を雇おうとするようなもので、どうにもならない。
しかし、人間の数学教授は別の教授を評価できるのに対し、機械知能は構造上、別の機械知能を評価できない。なぜなら、評価基準は依然として人間にとっての有用性だからだ。