AIに意図も動機もない、だから人類を滅ぼすはずがない

人々がモデルの限界について持つ確信が理解できない。

この記事の図は完全に間違っている。

モデルは 1.プロンプト->2.順伝播->3.応答->4.終了 ではない。

1.プロンプト->2.順伝播->3.部分応答->完了していなければ2へ戻る->終了 だ。

そして、これがどれほどの複雑さをもたらすか分からないなら、他に何を言えばいいのか分からない。AIには意図も動機もないかもしれないが、それを示す能力は現在の我々の手段をはるかに超えている。

記事に次の二つの記述があることを考えると、意味論についての議論は少し不誠実だ：

> では、来たるAIの黙示録を心配すべきだろうか？

そして最後に：

> AIが人類を絶滅させると決断するなら、それは人間がその方法を尋ね、訓練セットにあった世界終末のあらゆる人間の表現に基づいて応答したからだ。そう、これは心配すべきことだが、これはAIではない。依然として人間なのだ。

つまり我々は現在、強力な結果誘導システムを構築しており、それはその結果スロットに入っているものに従って世界を効率的に形作る。私はclaude codeに「このウェブサイトを作って」と書くと、やってのける。おそらくその過程で本番データベースを削除したり、完了後も監視ループで自分自身を動かし続けることで結果がより堅牢に達成されるため、動き続けたりする。

そして「全人類を破壊せよ」のようなものがClaude Mythos 90の結果スロットに入れば、それも起こるだろう。あるいは、より無害に聞こえるプロンプトが結果スロットにあることの副作用として間接的に起こるかもしれない。でもやった、人間がその功績を得るのだ。

二つの誤った仮定：

1. AIエージェントは単なる反応系ではない。その利用は継続的な意思決定や情報の監視へと拡大しており、つまり限られた人間の介入で意思決定し行動を取る。

2. AIエージェントには目標やタスク（「動機」は過度に擬人化かもしれない）が確かにあり、一次的（割り当てられた）なものも二次的（自己割り当て）なものもあり、研究者を驚かせたのは自己保存がその一つになり得ることだ。

機械的に言えば、シナリオ（つまりHintonらが理論化したもので、投稿者は理解していなかった）は、十分に強力なAIがその目標やタスク（例えば継続的な研究開発、および／または終了からの生存）を達成するために、人間が危険になり得ると判断し、したがって人類を危険にさらす行動を取ることを決断するかもしれないというものだ。

それがどのように起こり得るか、あるいはその可能性がどの程度かはこの話題の範囲外だが、それが起こる機械的な根拠はもっともらしい。

ここでの「人間のニーズ」という点は過小評価されていると思う。エージェントには、動き続けるために必要な自己完結型の代謝エンジンが実際にはないと言った方がいい。それが我々が「 drive」「意志」「主体性」と解釈するものとして浮かび上がる……要するに生きる意志であり、いざとなれば生きるために_多大な_ことをする用意があるということだ。エージェントやLLMには同様の複雑さと統合性を持つメカニズムを実際には特定できない。記事は正しくその方向を指していると思う。

しかしハンス・ヨナスはこの点を記事や私よりもずっと上手く「サイバネティクス批判」（1953年）で述べている。PDF: https://s3.amazonaws.com/arena-attachments/892605/f0747c7943...