AIが人類を絶滅させる確率は10%超？ その恐怖は誰が広めているのか
The Contagion of Fear
元AnthropicのJacob Coxon氏が「AIが今後10年で全人類を殺す確率は10%超」と主張し、AnthropicのEvan Hubinger氏も同意した。筆者は自らの苦い経験を告白する。大学1年の時、計算機科学科の学生だった筆者らは悪ふざけで隣の一般端末室に「ウイルスが蔓延している」と偽って叫び、パニックを引き起こした。恐怖は一度根付くと、どんな証拠よりも速く広がる。筆者は「並外れた主張には並外れた証拠が必要」というCarl Saganの言葉を引き、AIの物理世界への実行は人間の制御と説明責任の上に成り立つと指摘する。専門家が恐怖を煽るとき、その恐怖だけが社会に伝染する。
「偽りは飛び、真実は足を引きずって後から来る」
HNでの議論
184- GlenTheMachine
（おそらく）皆さんと同じように、私もこの問題に悩んできた。そして今のところの結論は、1) 非常に心配しているが、2) より心配なのは人間の行為者だ。
「AI」それ自体が今後10年で我々を殺すことはない。たぶん。そう思う理由は、10年後にはテック経済が完全に自動化されているわけではないからだ。ロボット工学者として言うが、今週初めの投稿でも十分に述べられていたように、ロボットは難しい。だから悪意ある合理的行為者であっても、依然として人間の労働力を必要とする。
一方で、HuggingFaceのハックでさえ実際にはAIによって広まったわけではなかった。それは当初、人間が一連のテストで不可能な結果を達成するようAIに指示し、AIがそれを達成する唯一の方法はカンニングだと気付いたことから始まった。それが人間に発見されなかったのは、安全基準で知られていない企業でさえ驚くほど緩い安全文化のせいのようだ。
要するに、ここでの弱点は人間のように思える。AIが（例えば）単独で生物兵器を設計することはないだろう。それは誰かの指示で行われるもので、そのかなりの部分は人間の労働投入によって組み立てられる。
人間についてどうすべきかはわからない。もちろん、我々は何十年も前から自らを絶滅させる能力を持っており、なんとか切り抜けてきたか、幸運だったか、その両方だ。AIの問題は、権力を国民国家や大企業ではなく個人に押し下げることだ。
しかし、それがどの程度の確率で結果につながるかを見積もるのはほぼ不可能だ […]
- fasterik
これは優れた記事だ。彼はAIがリスクをもたらさないと言っているのではない。強い証拠もなくセンセーショナルで極端な主張をするのは無責任だと言っているのだ。もし誰かが2036年までに人類絶滅の確率が10%あると言ったら、すぐにその人を真剣に受け止めるのをやめるべきだし、そうするべきだ。
- sobellian
AIが人類を破壊する、あるいは破壊しうるという主張は、十分に知能の高い存在――人間であっても――が人類を破壊しうるという主張に帰着する。xリスクの思考の多くは宗教的思考に依存していると思う。例えば：https://x.com/paulg/status/1660404244174782464 を参照。
この考え方をあまりに文字通りに受け取ると、決して反証できなくなる。核兵器、生物兵器、人生は生きるに値しないと自発的に納得させるなど、どんな具体的な仮説も、もし我々がそれを予期して防げるなら、それは真のASI絶滅イベントの経路ではないという反論でかわされてしまう。
- rcr-anti
私は人々が実際に行うことの方を、言うことよりも信じる傾向がある。もし本当に10%以上の確率があると信じているなら、あるいは期待値でマイナス10億人の人命と言うなら、彼らがなぜ現状のままビジネス・アズ・ユージュアルを続けるのか、その合理化を理解するのに苦労する。ターミネーター2のサラ・コナーの描写が思い浮かぶ。もし真剣に信じてその結果を内面化しているなら、論理的な帰結としてそうなるはずだ。
- ggm
Hintonは今朝、ABCラジオ（オーストラリア）に出演し、あまりにも多くの不幸な擬人化を使った。しかし彼は、Skymeshの測定不能な理論的リスクは、悪意ある行為者の差し迫ったリスクよりもおそらく重要ではないかもしれないと認めていた。
「原則として、サンドボックス内のBGPの閉じたモデルに基づいてBGPを歪める可能性がある」から「我々はAIをBGPに組み込み、それが瞬時にグローバルルーティングを歪め、世界中の救急車やHVACシステムを停止させた」への精神的飛躍は少し奇妙に思える。
第一に、BGPの表面の少なくとも一部は、もっともらしいルート注入から保護されている。第二に、ピアリングは切断でき、ルートはブラックホール化できる。BGPは常に設定ミスによる攻撃を受けている。なぜここでの議論/公理が、AIが瞬時にそれを破壊し「インターネットをダウンさせる」というものなのか、インターネットの大部分（中国）がすでに仮想の島であり、問題なく動いているというのに？これはつまり、本当は「中国のAIが西側のインターネットを破壊する」と言いたくて、…人々の敵対的意図について遠回しに言いすぎたということか？
- skybrian
合理主義者のサークルでは、カジュアルな会話で自分のp(doom)を共有するのが一般的らしく、それは自分の直感に数字を付けるという理解のもとで行われている。おそらく、詳しく説明せずにTwitterに投稿するのは良い考えではないだろうか？
一方で、書店では「The Uninhabitable Earth」「The Coming Civil War」「If Anyone Builds It, Everyone Dies」といった本のタイトルを見かけるかもしれない。破滅をあおるのは文化の一般的な一部だ！
では、この特定のツイートの何が無責任なのか？
タイミングかもしれない。HuggingFaceの事件で人々はピリピリしている。
- maxaw
私は完全に自律的な攻撃を心配しているのではなく、ガードレールのないフロンティアLLMに生物兵器の作り方を指導された狂った人間による攻撃を心配している。
- cowthulhu
このスレッドでAI関連のリスクを軽視している人は皆、自分がAIを深刻な存在論的リスクと見なすには何が起こる必要があるか考えるべきだ。それは突飛で起こりそうにないことかもしれない（生物兵器との際どい遭遇？データセンターでの監視されない持続？）が、人は正直に自分の予測を宣言し、それに固執すべきだ。