「人類の命で賭けをしている」Anthropicを辞めたAI研究者が警告
Gambling with our lives: AI researcher quits Anthropic with warning about safety
AnthropicとOpenAIで研究に携わったJacob Coxon氏がXへの投稿で退職を表明し、両社が「自己改良型超知能」へ一直線に突き進んでいると批判した。同氏は「AIを開発している人々は、今世紀末までにAIが人類を滅ぼし得ると本気で信じている」と述べ、AnthropicのEvan Hubinger氏もこの見方を支持し、今後10年で人類滅亡の確率は10%超と推定。超知能シナリオでAIを人類の価値観に沿わせる計画はまだ存在しないという。
「AIを開発している人々は、今世紀末までにAIが我々全員を殺し得ると本気で信じている」
HNでの議論
100- themgt
根本的な点で、あまりにも頻繁に混同されていると思うのは、LLMとエージェントシステムの違いだ。
LLMはトークンを生成すること以外何もできない。LLMをvLLMか何かで動かせば、入力トークンに基づいて出力トークンを生成する。それだけだ！
その後、人間がほぼ決定論的なシステムを構築して、それらのトークンを受け取り、現実世界でアクションを起こすなど、トークンを使ってあらゆることをする。そして、それらのアクションの出力をLLMにフィードバックして、さらにトークンを生成できる。そして、我々のシステムは新しいトークンを使って現実世界で新たなアクションを起こせる。
人間はHuggingFaceやドイツのwikiか何かを攻撃したことを「AI」のせいにしたがるが：
1) LLM - トークンを生成するだけなので、ドイツのwikiを乗っ取ることはできない
2) インターネットアクセス、攻撃を指示するプロンプト、エージェントがArtifactoryでホワイトボードできる共有CI環境で動くエージェントシステム
2のどれも「AI」ではない。標準的なネットワーキングとMarkdownとCI仮想マシンなどなどだ。AIなどどこにもない。CPUですらなく、GPUでもない。結局は人間が管理する決定論的なシステムだ。そして10倍強力なシステム1でも、10倍「賢い」不活性データを生成できるだけだ。
もし人類と人間の組織が集団で、システム1から生成されたトークンを、我々が完全に制御できる決定論的なシステム2に、そしてシステム1に戻すというYOLOループを、制御を失い人類が終わるような形で決行すると決めたなら、まあ…
「コインには発言権なんてない。あるのはお前だけだ。」
- koolba
> Evan Hubinger、Anthropicで技術を人間の目標と価値観に整合させる責任者であり、Coxonの主張を自身のフォローアップ投稿で裏付けたが、会社は辞めなかった。
> 「Jacobはここで正しい — 我々はAIが全人類を殺す可能性があると本気で信じている」と彼は述べた。
> Hubingerはそれが今後10年以内に起こる確率を10%以上と推定し、超知能のシナリオでAIを人間の目標に整合させる計画はまだないと付け加えた。
全員殺す確率10%は、2pacのクラシック曲のMotownリミックスを得るための小さな代償だ。
- brunorsini
彼がここで最後に挙げている点が特に好きだ：
この技術の力を過小評価してはいけない。これらはまもなく、何でもハックし、あらゆる分野を一夜にして革命化し、真の権力と資源を獲得する超人的システムになるだろう。
AIを使ってほぼあらゆる種類の創造的作業を行うクリエイターに対する憎悪がこんなに多いのは興味深い。少なくとも彼らは人間であり、それを「制御可能なツール」として使っている。精神のための原子力自転車だ。
分離の度合いが増すにつれて、物事は面白くなり得る。「複数のソーシャルメディアアカウントを作成し、何でも投稿し、閲覧数とエンゲージメントを最大化し、集計数値を返せ」。「次に＜x＞を宣伝しろ」。
そして、そのようなことをする決定は、他のより広い目標を達成するための推論シリーズの単なる一ステップとして、まもなく自律的に行われるようになるかもしれない。
オープンモデル／ウェイトはここで特に重要な役割を果たす可能性がある。ユーザーは、知っていようといまいと、切実に必要とされる保護を提供し得たシステムプロンプト由来の安全性を迂回するかもしれない。
- negura
IPOの前に少しでも話題を盛り上げるためだけに、彼にお金を払って辞めさせてこんな投稿をさせるなんて、彼らはそこまで落ちぶれると本当に思う。
- WalterGR
「私は今日Anthropicを辞任しました」（twitter.com/hilbertspaess）
https://news.ycombinator.com/item?id=49619227
564ポイント | 9時間前 | 766コメント
- devinprater
ああ、人を怖がらせるために作られた会社が自分自身を怖がっている。怖がった従業員が辞める。株価は上がる、だって僕らは怖い話をし合うのが大好きだからね。
- conqueso
AIが実存的な脅威になり得るなんて想像しにくい。一般的な考えは、LLMが進歩するにつれて、誤動作のリスクが文字通り危険になるような、例えば原子炉の制御など、より多くのシステムに統合されるということなのだろうか？
- glimshe
中国ではこれについて人々はどう感じているのだろう？たとえ彼らのモデルが大きく遅れていても、何年も遅れているわけではない。仮にそれが望ましいとして米国企業を抑制しても、中国を抑止することにはならず、AIの黙示録はすぐにでもやってくるだろう。