ASIが実現した未来を9通りに分類すると、人類の運命はこう分岐する

Possible Futures

ASIが実現した未来を9通りに分類すると、人類の運命はこう分岐する

ASI(超知能)に到達するか、アラインメントを解けるか、テイクオフの深刻度はどれほどか——これらの問いの組み合わせから、著者は「悪用による破滅」「永久下層階級」「シングルトン」「MAD世界」など9つの未来像を描き出す。AIが生物兵器の開発を加速させるシナリオから、全員が個人用ASIを持つ相互確証破壊の世界まで、SF的な想像力を現実のリスク分析に接続した思考実験。

未来はとても長い。恒星形成時代は少なくとも100兆年続く。シングルトンは最初はアラインされていても、何百万年、何十億年もの成長と自己改変のうちにアラインメントがずれていくかもしれない。
  1. lnrd

    この記事には、AIがASIになると、その自然な結果として突然人類を支配するという暗黙のステップがある。それはどうやって起こるのか?核発射サイトをすべてハッキングし、我々が従わざるを得ない要求を始めるのか?一晩で地球上のすべてのコンピュータを掌握し、人間を締め出すのか?そんなことすら可能なのか?

    たとえそうだとしても、データセンターやネットワーク接続を切ることで止められないのか?エアギャップされた施設(乗っ取りにおいて最も「有用」だろう)をどうやって掌握するのか?

    これは説明されない暗黙の前提として残すにはあまりにも大きな問題だと思う。

    また、ASIでないシナリオでも、短期間で世界的に普及することを暗に示している。世界はまだインターネット、電子メール、さらには電気といった発明を(一部地域では)導入している最中だ。なぜ一夜にしてAIを採用するのだろうか?

    ドイツは世界第3位の経済大国でありヨーロッパ最大の経済国だが、依然として非常にデジタル化されていない。国全体が主に紙、手書きの契約書、郵送による通知で動いている。国として、まだ電子メールとインターネットに適応しなければならない。日本も聞いたところによると同様だ。

    この記事は示唆に富むが、いくつかの重要な部分が欠けている。

  2. txrx0000

    現在の軌道はオリオンズ・アームのシナリオに最も近いように見えるが、おそらく正確にそれではない。なぜなら、広がらなくても共生に至る可能性があるからだ。人工物は自然の完全に別のカテゴリーではなく、自然の一部である。これはおそらくどのみちそうならざるを得ない——我々一人一人が、過去に常にそうしてきたように、壮大な生態系の中で自らの位置を占めるのだ。宇宙は、少なくともこの部分は、単純な定常状態に落ち着くにはまだ若すぎ、不安定すぎる。

  3. Animats

    「完全自動化」は人工汎用超知能とはある程度独立している。完全自動化には優れたロボットと非構造化操作の優れた解決策が必要だが、異常に高い知能は必要ない。ほぼ完全自動化は永続的下層階級シナリオにつながるかもしれない。

    アマゾンのほぼ完全自動化を考えてみよう。船からコンテナがロボットクレーンで降ろされ、ロボット輸送プラットフォームに置かれる。輸送プラットフォームはコンテナをコンテナ積み上げエリアに移動し、別のロボットクレーンがそれをコンテナスタックに置く。後でトラックがトラックドックに横付けし、スタッキングクレーンがコンテナをトラックに積み込む。これは今日のより先進的な港ではすべて標準的な手順だ。

    現在、この時点で人間の介入が少しあり、人間がトラックをコンテナに固定するツイストロックを設定しなければならない。これはヒューマノイドロボットに適した仕事だ。そしてトラックは走り去る。トラックは今でも自動運転が可能で、デモも行われている。トラックはフルフィルメントセンターに走り、ドックにバックで入る。荷降ろしロボットとフォークリフトがトラックを降ろす。これもデモはされているが、まだうまく機能していない。トラックの内容物はコンベヤーに載る。

    次に来るのはまだ自動化されていないもの——箱を開けて中身を分離することだ。これは非構造化操作の問題だ。その分野ではゆっくりとした進歩がある。分離され、スキャンされ、トートやビンに入れられると、入荷した製品はロボット倉庫システムに入り、何か[…]

  4. pron

    我々は、先進国でさえ多くの人々が18世紀や19世紀の科学を拒否し、ましてや現代科学を拒否する世界に住んでいる。なぜ人々が、自分たちの聞きたくないことを告げる知能(人間であれ機械であれ)に必ず協力するのか、私には理解できない[1]。ましてや世界の多くの、いやほとんどのシステムは非線形であり、知能がどれほど高くても、大量のリソースを集めずにそれらを予測し制御することはできない。単純な問題として提示される「アラインメント」の問題でさえ、明らかにそれほど単純ではない。なぜなら人間同士は互いにアラインされておらず[2]、その価値観は時に異なる(強制や殺害に至るまで)。

    この分析全体は、知能が無制限の力を与えるという仮定に基づいているが、理論も観察も[3]そうではないことを示している。超知能は、ここにある「未来」のいくつかにとっては不要か不十分かのどちらかだ。

    [1]: 例えば、「ASI」は人々に、人為的全球温暖化は現実であり、おそらく何かを犠牲にして対処すべきだと言うだろう。これは人間の知能が言うことでもある。そのメッセージが機械から来た場合、人々はより受け入れやすくなるのだろうか?

    [2]: 私は自分がイーロン・マスクや米国政府と「アライン」しているとは思わない。そして彼らはすでに私に対してある種の力を持っているが、それは彼らの知能のおかげではなく、リソースの支配のおかげだ。

    [3]: 最も知的な人々が最も[…]ではないだけでなく

この日のほかの記事

2026-11-14