AIの「破滅確率」より、私たち自身への影響を worry すべきだ
P(doom)
今週、AIによる人類滅亡の確率「P(doom)」が話題になった。Dario Amodeiは10〜25%と見積もり、OpenAIのSam AltmanやMuskも同調する。しかし筆者は、閉鎖的なモデルが引き起こす現実の害——サイバー攻撃やリソースの圧迫——こそが問題だと主張する。オープンウェイトモデルこそが自動的なペーシングをもたらし、中国の蒸留が世界を救っていると指摘。規制は完全に失敗しており、社会がなぜこれほど冷静なのか疑問を呈する。
中国が現在、世界を大規模に救っていることを我々は喜ぶべきだ。もし中国のラボがアメリカのモデルを蒸留していなければ、我々は今、特にヨーロッパ人にとって、かなりひどい状況にあっただろう。
HNでの議論
89- demibabs
私はEd Zitronの大ファンというわけではないが、彼が言ったことで心に残っていることがある：
OpenAIとAnthropicは「強力なAIが悪者の手に渡ったらどうする？」と私たちに警告するのに多くの時間を費やしている。
しかし、すでに悪者の手に渡っているのだ。
- passive
これは、この状況全体について私が感じていることに最も近い、これまでに書かれた文章だ。それがどれほど愚かで苦痛であるかの様々な側面をカバーしている（とはいえ、そういう類の投稿には良い週だったが）。
Arminと彼の仕事には計り知れない敬意を抱いているので、これは非常に嬉しいし、他の誰かが目を覚ますことを願っている。
- bryan0
> 誰もが使える強力なテクノロジーには、ビルトインのペース配分がある。ある意味で、それはMADや拡散の最も真の形だ。
私は、このMADの誤解が彼の主張全体を損なっていると思う。もし誰もが核兵器に平等にアクセスできたら、私たちの社会はかなり急速に存在しなくなるだろう。ほんの少数の悪意ある行為者だけで、甚大な被害を引き起こすのに十分だ。
また、彼は、もしOpenAIとAnthropicが明日開発を止めたら問題は解決する、と考えるのはナイーブだと思う。まるで、他に彼らの代わりをすぐに務めることができる人がいないかのように。Darioが指摘している本当の問題は、協調の問題だ。誰もが止めることに同意する必要がある。それが課題なのだ。
- pandoro
人類に甚大な被害をもたらすか、あるいは絶滅レベルのリスクをもたらす確率が「10〜25%」だと本気で信じている問題に、どうして集中的に取り組むことができるのか、私には理解できない。どうしてこれを本当に信じて、平気でいられるのか？
- ilyaizen
実際にはたった2社しかない：AnthropicとOpenAIだ。今この分野で他の誰も重要ではない（これは変わるかもしれないが、今の話をしている）。
彼が他のすべてのラボを、今まさにRSIに近づいているかもしれない米国の主要ラボを含めて、いかにさりげなく軽視しているかが気に入った。そして、7年前にGPT-2がリリースされた時を、まるで遠い過去であるかのように、「今」をいかに厳格に扱っているか。