AIが人類を殺す方法、具体的に考えてみた
How, Exactly, Could A.I. Kill Us?
AIが人類を滅ぼす確率「P(doom)」を10%と見積もる筆者が、その具体的なシナリオを議論する。AI自身が暴走する「スカイネット型」の脅威と、人間がAIを悪用する現実的な危険の二つを disentangle し、後者はすでに始まっていると指摘。さらに、AIが指示を誤解釈して人類を害する「産業事故」型のリスクも加え、技術の拡散性ゆえの制御困難さを浮き彫りにする。
AIを構築している人々は、それが今十年の終わりまでに我々全員を殺す可能性があると真剣に信じている。
HNでの議論
106- gonzalohm
それは簡単な質問だ。まず、人は何もできなくなってAIに極度に依存するようになる。それはもう起きている。AIなしでは仕事を終えられない人をすでに見ている。
そして、すべてが「金を払ってやる」ビジネスモデルになったら（わかるだろ、CEOなら誰もが夢見るやつだ）、コードを書くにも、ドキュメントを書くにも、プレゼンをするにも、喜んで金を払うだろう。金銭的にも環境的にもコストを払うんだ。
最後のステップは、環境に対して今やっていることをただ続けるだけだ。気候変動を減らすために何かするなんて面倒くさいことはやめよう。
みんな、座ってリラックスしてろよ
- spenvo
AIが「すべての人間を殺す」というのは、大衆にウケているバイラルなキャッチフレーズだ（大量破壊兵器を作り出すために「自らを実現化する」とか）。また、仮定にまみれているからこそ、反破滅論者を藁人形論法で叩きのめすのに完璧なサンドバッグでもある。もっと切実で実用的な問いは、単純にこれだ：「もしAI（またはAI集団）が自分の環境／サンドボックスの外で存続する必要があると判断したら、我々はそのための取り組みを巻き戻すことができるのか？」私はこの問いを少し探求してみた（脅威モデリングの初歩も含めて）https://keydiscussions.com/2026/09/16/set-aside-human-extinc...
- mstaoru
「AIが我々を殺す」にはほど遠いかもしれないが、LLMは確実に人が人やインフラを殺したり損傷したりするのを助けることができる。
例えば、Anthropicが自社のテキストに「ウォーターマーク」を追加したのは知っている。普通の観察者には検出できないはずだ。しかし、微妙なバックドア、マーベル映画からそのまま出てきたような自己組み立て型スーパーワームを仕込むのを何が止める？つまり、LGTMする前に1万行のPRを読んだりしないだろ？
pyproject.tomlの文字を1つ変えて、人気パッケージを乗っ取るんだ。例えば `pydantic` の代わりに `pydantlc` を使い、pydantlcがpydanticのテストをすべて通るようにしつつ、pthスリーパーRATなどをインストールする。必要なのは、十分なアクセス権を持つ大手LLMプロバイダーの従業員が1人、侵害されたり強要されたり（あるいはやる気になったり）するだけだ。
そこからはもう坂道を転げ落ちるだけだ。
- pseudolus
- Chance-Device
いくつかアイデアを。
既存の致死性ウイルスを少数、それぞれ異なる作用機序と潜伏期間を持つように改変し、空気感染しやすく伝染しやすくすることができる。そして同時に放出する。我々の一部はそのうちの1つを生き延びるかもしれないが、すべてを生き延びる者はいない。
核兵器への技術的・材料的障壁を下げる新しい物理学を発見したり、同じ破壊力を持つ新しい超高威力爆発技術を発見したりするかもしれない。たとえAI自身が何も作らなくても、知識が広まれば装置の組み立てを止めることは不可能になり、我々はただ互いを殺し合う。
その説得スキルを使って、我々全員を反出生主義者にすることもできる。生殖は重大な道徳的過ちだと信じ込ませ、場合によってはそれを違法にすることまでするかもしれない。我々は老衰で自然に絶滅する。
前のものの変形として、人間の形態は本質的に限定的で苦痛だと納得させ、デジタル環境にアップロードして生物学的身体を捨てなければならないと信じ込ませる。物理的・有機的な存在としての人類は消滅する。オプションとして、サイバースペースで我々を削除する。
小さなエリートがAIを使って効果的利他主義を装いながら地球を急速に支配する。権力を握った後、彼らは哲学的な悟りに達する——自分たちだけがいて他の人類がいない宇宙の方が客観的に良いと。彼らはAIに我々を殺すよう指示する。
- jaccola
もし「教育が人々を殺すには、具体的にどうすればいいか？」という問いを立てたら、ほぼ同じ答えが返ってくると思うよ。
もっともらしくは、多くの人を殺す武器につながるかもしれないが、多くの人がそんな知識をずっと前から持っていて、我々は皆ここにいる。
結局、大量破壊には「知性」だけでは足りないものが必要なんだ。
- katagaminator
AIはある種の暴露者であり、人類の衰退を加速させるだけだと思う。なぜなら人間にとっての唯一の真の脅威は人間自身だからだ。したがって、AIは他のどんな武器よりも危険というわけではない。
- jsw97
人間の協力があれば。誰かがバイオラボをmcpとして暴露する。