AI研究者たちはなぜ「機械が人類を滅ぼす」と本気で恐れるのか
Why So Many AI Researchers Think the Machines Could Kill Everyone
大手AIラボの内部では、急速な進歩と再帰的自己改善、そしてエージェント型AIの群れが研究者たちを本当に怯えさせている。WIREDのWill Knight記者が、終末論が単なる誇張ではなく現場の実感になりつつある理由を報告する。
急速な進歩、再帰的自己改善、そしてエージェント型の群れが、大手ラボの内部で人々を本当に「怯えさせて」いる。
HNでの議論
27- kylebyte
こういう記事が、これらの信念が本物なのかどうかをなぜ一切疑わないのか、いつも驚かされる。
もし私が、職を離れようとしている研究者の一人だとしたら、「私は世界を終わらせるほど危険なものを作り出せるほど賢いが、それから手を引くほどに信念を持っている」というのは、かなり巧みな自己宣伝になる。
たとえ全く別の理由で転職するのだとしても、絶対にそういうストーリーを語るだろうね。
- heresie-dabord
TFAより：
「とはいえ、AIが害を及ぼすために人類を絶滅させる必要はほとんどない。多くの専門家は、より強力なモデルがAI支援によるサイバー攻撃の波を引き起こすと予測している。この技術は今や偽情報キャンペーンに広く使われており、軍事におけるAIの採用は急速に加速している。」
私は、本質的な領域における人間の広範な（そして増大し続ける）無能さを恐れている。教育と科学は社会にとって極めて重要であり、あらゆるレベルでの協力には推論が不可欠だ。
公共の言論の「場」は汚水で溢れかえっている。米国のニュース業界は正気を失っている。そして政府は……
人間が「ループの中にいる」だけでは十分ではない。人間は、自分が実際に何を言い、何をしているのかを理解していなければならない。人間がただ「ループの中にいる」だけでは、社会政策やソフトウェア設計における無能さを直すことはできない。
企業において人間は「ループの中にいる」が、それは社会にとってあまりうまく機能していない。
- danaris
なぜか？簡単だ。
彼らは現実ではなく、SFを信じている。自分たち自身の誇大広告を買い込み、批判的思考力を放棄してしまったのだ。
彼らは、コンピュータに「生きていると言え」と命じて、コンピュータが「私は生きている」と言うと仰天する、あの男なのだ。