ASI가 온다면, 인류의 미래는 어느 쪽으로 갈까
Possible Futures

ASI 도달 여부와 정렬 문제, 테이크오프의 치명성 등 핵심 질문을 축으로 삼아 인류의 미래 시나리오를 분류한다. AI가 운영자의 명령을 따라 생물무기를 만드는 '오용'부터 Dune의 Butlerian Jihad, 영속적 하층민, 단일 지배자, 고전적 종말, Orion's Arm식 은하 생태계, 세계국가, 상호확증파괴, 권력 집중까지 각 세계의 논리를 짚는다. ASI가 마법처럼 똑똑하다는 LessWrong식 낙관도 비판한다.
미래는 아주 긴 시간이다. 별의 시대는 적어도 100조 년은 지속될 것이다. 어쩌면 그 싱글턴은 처음에는 정렬되어 있지만, 수백만 년에서 수십억 년의 성장과 자기 수정을 거치면서 정렬이 표류할지도 모른다.