AIの「破滅確率」より、私たち自身への影響を worry すべきだ
P(doom)
今週、AIによる人類滅亡の確率「P(doom)」が話題になった。Dario Amodeiは10〜25%と見積もり、OpenAIのSam AltmanやMuskも同調する。しかし筆者は、閉鎖的なモデルが引き起こす現実の害——サイバー攻撃やリソースの圧迫——こそが問題だと主張する。オープンウェイトモデルこそが自動的なペーシングをもたらし、中国の蒸留が世界を救っていると指摘。規制は完全に失敗しており、社会がなぜこれほど冷静なのか疑問を呈する。
中国が現在、世界を大規模に救っていることを我々は喜ぶべきだ。もし中国のラボがアメリカのモデルを蒸留していなければ、我々は今、特にヨーロッパ人にとって、かなりひどい状況にあっただろう。
HNでの議論
131- demibabs
私はEd Zitronの大ファンというわけではないが、彼が言ったことで心に残っていることがある：
OpenAIとAnthropicは「強力なAIが悪者の手に渡ったらどうする？」と警告するのに多くの時間を費やしている。
しかし、すでに悪者の手に渡っているのだ。
- pandoro
人類に甚大な害をもたらすか、あるいは絶滅レベルのリスクをもたらす確率が「10～25%」だと本気で信じている問題に、どうして集中的に取り組めるのか理解できない。どうして本当にそう信じていながら、平気でいられるのか？
- bryan0
> 誰もが使える強力な技術には、ビルトインのペース配分がある。ある意味で、これはMADや拡散の最も真の形だ。
彼のMADに対するこの誤解が、彼の主張全体を台無しにしていると思う。もし誰もが核兵器に平等にアクセスできたら、我々の社会はかなり急速に消滅するだろう。ほんの少数の悪意ある行為者だけで甚大な害を引き起こせるのだ。
また、OpenAIとAnthropicが明日開発を止めれば問題が解決するという考えも甘い。他に誰も彼らの代わりをすぐに務め、務めるだろう者がいないかのように。Darioが指摘している本当の問題は、調整の問題だ。全員が止めることに合意する必要がある。それが課題なのだ。
- passive
これは、この状況全体について私が感じていることに最も近い文章だ。どれほど愚かで苦痛に満ちているか、その様々な側面を網羅している（とはいえ、こういう記事には良い週だったが）。
Arminと彼の仕事には並々ならぬ敬意を抱いているので、これはとても嬉しいし、他の誰かも目を覚ましてくれることを願う。
- ilyaizen
本当に2社しかない：AnthropicとOpenAIだ。今この分野で他の誰も重要ではない（これは変わるかもしれないが、今の話をしている）。
彼が他のすべてのラボ、今まさにRSIに近づいているかもしれない米国の主要ラボを含めて、いかにさりげなく軽視しているかが気に入った。そして「今」を、まるで7年前にGPT-2がリリースされたのが遠い過去であるかのように、あまりに硬直的に扱っている点も。
- mangecoeur
OpenAIが、自社のセキュリティが自社製品の暴走を防ぐのに十分でないというサイバーセキュリティの失敗を、マーケティングの成功に仕立て上げたのは馬鹿げている。
企業が自社製品を使って他社をハッキングすれば犯罪だ。「事故で」やったのなら重大な過失であり、責任者が首になる。しかし「AI」と三回唱えれば、それはマーケティングの機会になる。
- skor
見逃したかもしれないが、「フロンティアのペース」について、つまり「天井に達したので、すぐに革新を期待するな」というような見解や、他にもっと重要なことがあるという言い訳を、誰かが述べていないか積極的に探した。
恐怖は他のどんな感情よりも強力なので、それを植え付けておけばIPOでの良いラグプル（急落）の準備になるだろう。
危険性については、コンピュータは電源を入れれば危険になり得るし、ある時点でプラグを抜くのが遅すぎるかもしれないが、それはすべて挑発のように思える。
あり得る話か？
- chis
> AIが絶滅イベントを引き起こすとは思わない。実際、誰も減速しなかったとしても、人類が心配することはほとんどないと本当に思う。
まあ、確かに。そう感じるなら、あなたの破滅確率はゼロであり、市場の集中やソフトウェアエンジニアリングの楽しさを失うことなどを心配するのは理にかなっている。