たった一人の辞職が、AIへの漠然とした不安を燎原の火に変えた
One resignation turned the embers of AI fear into a wildfire
AIの能力向上に伴い、安全性を真剣に受け止める層が拡大。ある研究者の辞職表明が、かつてない注目を集めた。背景には、OpenAIとHuggingFaceの事件や数学のブレークスルーで関心が高まる一方、恐怖が最も単純で拡散しやすい物語であるという人間心理がある。著者は、終末リスクの議論が極端な方向に傾くことを懸念しつつ、サイバー攻撃や生物リスクなど現実的な脅威への備えを訴える。
恐怖は最も単純な物語であり、人々が目を離せないものである。
HNでの議論
76- qurren
私はAIエンジニアだが、同じように感じている。
このすべてが崩壊する前に、できるだけ早く引退できるレベルの富を蓄えて、この混乱から離れたどこかへ移り住みたいという欲求も感じている。
そのために私が取れる唯一の良い方法は、AIの仕事を続けることだ。なぜなら、私が持つスキルでそれほど高給を払ってくれるものは他にないから。
- mcast
規制の虜（レギュラトリー・キャプチャー）から利益を得ている企業が、AIへの恐怖とプロパガンダを人工的に煽っているというのは、非常に怪しいと思う。
- enyone
AIデータセンターの電力消費増加によるエネルギー価格の上昇や、AIデータセンターの冷却における清浄水の無駄遣いは、AIに関して私が心配していることの中では最も小さいものだ。
私が心配しているのは、事が起きたときの被害の規模だ。
例えば、昔は誰かの電話を盗聴したいときには、人数比1:1が必要で、一人が会話を続け、もう一人がそれを文字起こししていた。そして、その文字起こしを解釈して結論を出し、場合によっては次に何をするかまで決めるために、さらに何人かが必要だった。それは今私たちが生きている現実ではない。今日のデータ処理と保存能力の規模は、比率にして1:8298979488（AI:全員）だ。私は、そんな比率でAIがそれらの文字起こしに対して意思決定を行う世界を決して望まない。その可能性は明らかにすぐそこにあるように思える。
もう一つの例。昔は誰かが脆弱なシステムを掘り下げたいときには、人数比1:1が必要で、一人が一度に一つのシステムを掘り下げる時間を持っていた。今日、この地球上で、これらのAIエージェントが動いているのと同じネットワークに接続された、どれほど多くの重要かつ脆弱なシステムが稼働しているか、私は知りたくもない。確かに、時間をかければAIを使ってそれらの脆弱性を見つけて修正することはできるだろうが、ここでの問題は、害を及ぼす規模と速度（すべてのシステムを一度に悪用する）なのだ。
- kidder
Bostromの『Superintelligence』を含め、AIの終末論者の主張は多く聞いてきた。
しかし、それらを真剣に受け止めるのは依然として難しい。これらの主張は合理的な前提から始まり、それを極端に投影している。現在のLLMは強力で、危険な使われ方もされうる。数年ほどの激動の変化を受け入れるのは合理的だ。しかし、それらが文明を終わらせる破滅に合理的につながるとは思えない。
AI業界内の終末論者たちは過度に不安なのか？それとも私が何かを見落としているのだろうか？
- neom
Bostromの『Superintelligence』は2014年に出た。読むことを勧める。当時、私はそれがこれまで読んだ中で最高のSFの一つだと思い、自分の生涯のうちに公の議論になるとは思わなかった。興味深いのは、尊敬される/知識のある人々がここ数年、テレビや主流メディアでこれを言い続けていることだ。Jack Clarkは何度も議会の前に立っている。この特定のメッセージの何が変わって、こんなに人を掴むようになったのか？昨夜、私の妹がメッセージを送ってきて、「AIは本当に私たち全員を殺せるの？なぜただプラグを抜くだけじゃダメなの？」と聞いてきた。面白い時代だ……！