AnthropicのDario AmodeiがAI開発の減速を提唱、その真意に懐疑の声も
Anthropic boss Dario Amodei calls for AI development to slow down
AnthropicのDario Amodei CEOが、AIモデル開発の減速と監視を求めるエッセイを公開した。独立した監視、業界全体の規制、グローバル規制の3点を提案し、安全性を確保しつつ利益を追求する「バランスの取れた速度」での開発を訴えている。一方で、競争上の優位を手放さず中国の台頭を防ぐ必要性にも言及。Elon Muskは支持を表明したが、技術支配の強化を狙うものだとの批判も上がっている。
減速によって、モデルが決定的な能力水準に達するまでにさらに1年か2年の猶予が生まれ、その時間をアラインメントの進展に使えるなら、深刻な事態が起きるリスクを大幅に減らせるだろう。
HNでの議論
108- jwpapi
新しいモデルは超賢いと思ってたんだ。FableとAstra。確かに前世代をはるかに凌ぐ性能だったけど、数週間ヘビーに使ったら、またコードベースがひどいカオスになって、手でコードを直す以外に道はない。
今の俺の新たな疑念は、彼らが劇的に賢くなったわけじゃなくて、前世代のユーザー入力で訓練されただけなんじゃないかってこと。もう大規模な知能の飛躍があったとは思わない。ただ、より多くのエッジケースを知っているように見えるだけだ。だからこれはマーケティングだと思っている。
喜んで議論するよ。
- aenis
問題は、もう猫は袋から出てしまっているんじゃないか？ということだ。すでに公開されているものと、やる気のある資金豊富なアクターが利用できる計算資源があれば、彼らは主要な研究者なしで研究を続けられるのか？そして、そうした人々は十分な動機付けで主要な研究者を採用できるのか？
核拡散とは違い、重厚な産業基盤は必要ない。時間がかかり、目に見えるウラン濃縮もない。必要なのは、十分な量の計算資源を買い、RSIゲートを突破しようとすることだけだ。あるいは、既存のフロンティアへのモデル重みにアクセスできる人々を賄賂で買収することだってできる――ギークの集まりを賄賂で買収するのに必要なものと、かかっているものとの非対称性は驚異的だ。
- 99954bb63ccc
それで、フロンティアAIラボの誰かは、これらのモデルで悪意のあることができると証明し続ける代わりに、_良い_ことに使うことを考えたことはあるのか？
知的に印象的な「ハック」や、平凡なマルウェアが含まれているのではないかと懸念するサンドボックス脱出にトークンを燃やす代わりに、何を修正できるかを人々に示すことに集中したらどうだ？
あるいは、人々が毎日実際に使うソフトウェアをより良くするとか。
あるいは、医学研究に努力を寄付するとか。
AIを原子力と同一視するのは好きじゃないが、どれだけ大きな爆発を起こせるかを見せ続ける代わりに、どれだけ多くの家や病院や学校などに電力を供給できるかを見せるのとよく似ている。
- voidfunc
こいつは本当に自己奉仕的なクソ野郎だ。
- 708145_
6ヶ月にわたるMythosの脅威キャンペーンの後では、彼を真面目に受け取るのは難しい。
- bkishan
そしてSamとElonがDarioをリツイートして、彼に同意している。どちらがより奇妙かわからない。
- malthaus
「我々のバーンレートは狂っている、みんなで冷静になろう、堀を固めて今後50年間は規制捕獲とレントシーキングをやろう」
恐怖は、自分が企てたどんな計画にも大衆を同意させるための、依然として最良のツールだ。
- knuppar
数ヶ月前の自分のコメントを繰り返すよ、まだ真実だ
> イエス・キリスト、Dario、わかったよ、IPOで影響力が欲しいんだろ。