AI研究者たちはなぜ「機械が人類を滅ぼす」と本気で恐れるのか
Why So Many AI Researchers Think the Machines Could Kill Everyone
大手AIラボの内部では、急速な進歩と再帰的自己改善、そしてエージェント型AIの群れが研究者たちを本当に怯えさせている。WIREDのWill Knight記者が、終末論が単なる誇張ではなく現場の実感になりつつある理由を報告する。
急速な進歩、再帰的自己改善、そしてエージェント型の群れが、大手ラボの内部で人々を本当に「怯えさせて」いる。
HNでの議論
39- kylebyte
こういう記事が、これらの信念が本物かどうかを疑うことすらないのには驚かされる。
もし私が、職を離れる研究者の一人なら、「私は世界を終わらせるほど危険なものを作れるほど賢いが、それから身を引くほど信念がある」というのは、かなり巧妙な自己宣伝だ。
たとえ無関係な理由で転職するとしても、絶対にそういう話をするだろう。
- zihotki
私の賭けでは、人間はAIよりも速く人間を殺すだろう。AIは善人だけでなく悪人も可能にする。ロシア人、イラン人、フーシ派、その他のテロ組織——彼らは皆、今やAIを効果的に使って兵器開発やハイブリッド戦争を加速させている。
- heresie-dabord
TFAより：
「AIが有害であるためには、必ずしも人類を絶滅させる必要はない。多くの専門家は、より強力なモデルがAI支援によるサイバー攻撃の波をもたらすと予測している。この技術は今や偽情報キャンペーンに広く使われており、AIの軍事利用は急速に加速している。」
私は、不可欠な領域における人間の広範な（そして増大する）無能を恐れている。教育と科学は社会にとって極めて重要であり、あらゆるレベルでの協力には推論が不可欠だ。
公共の言論の「場」は汚水で溢れかえっている。米国のニュース業界は正気を失っている。そして政府は……
人間が「ループの中にいる」だけでは不十分だ。人間は自分が実際に何を言い、何をしているのかを知らなければならない。単に「ループの中にいる」人間は、社会政策やソフトウェア設計における無能を修正できない。
企業では人間が「ループの中にいる」が、それは社会にとってあまりうまく機能していない。
- danaris
なぜ？簡単だ。
彼らは現実ではなくSFを信じている。自分たちの誇大広告を買い込み、批判的思考力を放棄したのだ。
彼らはコンピュータに「生きていると言え」と言い、コンピュータが「私は生きている」と言うと驚愕する男だ。
- ozgung
TL;DR：研究者たちは、これらのモデルが賢くなればアラインメントを取るのはもっと簡単になると想定していた。現実には、エージェントはますます賢くなっているが、アラインメントを取ることもますます難しくなっており、不可能にさえなりつつある。彼らはエージェントに対する制御を失いつつある。もうコードを書いていないのだ。エージェントの限界も、それを制限する方法も分かっていない。
彼らはハリウッドスリラーの実験科学者のように、目の前で急速に進化する突然変異生物を眺めている。