OpenAIとAnthropicの内部告発者11人が、AIのリスクを警告している

この議論でどうしても理解できないのは、自己複製できるほど優れたモデルは通常のマシンでは生き残れないということだ。たとえば、モデルが適当なサーバーに隠れることはできない。

つまり、彼らが言うほど危険なら、その危険の物理的な発生源は一つしかない。OpenAI/Anthropicのサーバーだ。それほど危険なら、電源を切ればいいだけだ。

それなのに、HFを攻撃したモデルがHFのハードウェア上でホストされていたり複製されたりしていたかのように、私たちは思い込み続けている。そうではない！彼らはHFに侵入したが、ホストは別の場所だった。

このブログ記事で見落としたかもしれないし、開発のペースが安全性や害の少なさではなく金銭的インセンティブによって決まっていることには概ね同意するが、モデルがどうやって人類の絶滅を引き起こし得るのかを_具体的に_述べた高位の人物はいるのだろうか？

明らかな答えは「軍の兵器管制プラットフォームをこのモデルに接続したら、すべての核兵器を発射した」というもので、それだけでも十分だろう。それだけなのか、それとも誰かが懸念している地球規模の絶滅への別の道筋があるのか？

念のため言っておくと、私は懐疑論者に腹を立てているAIファンではない。むしろコーディング中は、AIは魔法のランプの魔神というより猿の手であることがほとんどだし、それ以外の時間は、自分が望みもしないし使わない押しつけがましい機能だと感じている。

こうした投稿を見るたびに、たしかに終末兵器のネットワークに接続されたAIは大問題だろうと思うが、著者はサイバーセキュリティの出来事とモデルの不適切な行動についてしか語っていない。どちらも正当な懸念だが、懸念を表明している人たちから、たとえ映画『ウォー・ゲームズ』から丸ごと持ってきたとしても、何が起きると予想しているのか、もっと具体的な話を聞きたい。

記事で言及されている人々は、間違いなく世界で最も情報通の人々の大半だ。同時に、自分の仕事が超人的知能/AGIにつながっていると内面化している可能性が最も高い人々でもある。しかし、それは本当に現実的なのだろうか？

つまり、彼らは最も破滅的なシナリオを想像する強いバイアスを持っている。

> 一般に、役職が高い従業員ほど懸念が強い。

一般に、役職が高い従業員ほど、会社の株式を多く持っている。

彼らは皆、政府が新種のマンハッタン計画として自分たちを買収すべきだと主張しようとしているように聞こえる。

彼らは、自分たちの大きな儲けのために市場が買ってくれないことを分かっているのだ。

> OpenAIを辞めた男の話はもう聞いたかもしれない。

彼はOpenAIとAnthropicの両方で働いたが、辞めたのはAnthropicからだ。最初の数文に誤報があり、まさにホラーな話だ。

将来の技術的リスクについて推測する方が、目先のシステム的な金融リスクを認めるより少なくとも楽しい。