AI가 인류를 멸망시킬 확률, 전문가들은 몇 %라고 말할까
Will AI kill us all
AI Impacts가 2024년 12월 top AI 학회 연구자 1,580명을 설문한 결과, 미래 AI로 인한 인류 멸종 또는 영구적 권력 상실 확률의 중앙값은 10%로 1년 전 5%에서 두 배가 됐다. 같은 설문에서 인간 수준 AI가 '극도로 나쁜 결과'를 낳을 확률은 2016년 이후 줄곧 5%였다. 2026년 중반 superforecaster들은 2100년까지 10% 이상 사망하는 AI 재앙 확률을 2.4%로 봤고, 전문가는 5%로 전망했다. 미국 성인의 50%는 AI가 인류 종말을 초래할까 걱정한다고 답했다. 2016년 2061년으로 예상됐던 인간 수준 AI 도래 시점은 2024년 조사에서 2042년으로 앞당겨졌다.
인류 멸종이나 이에 준하는 영구적이고 심각한 인간 종의 권력 상실을 미래 AI 발전이 초래할 확률에 대한 중앙값은 10%로, 1년 전 5%에서 상승했다.
HN 토론
48- CM30
여기서 가장 큰 위험 중 하나이자, 가까운 미래에 AI가 '우리 모두를 죽일' 수 있는 유일한 방법이라고 생각합니다:
> 3.4%가 실존적 위험을 꼽았고, 가장 흔한 답은 악의적 사용으로 10.6%였습니다(UCL).
위험은 자각 능력이나 인간 수준의 AI에 관한 것이 아니라, AI가 모든 사람에게 상상도 못 할 능력을 부여하고, 그 능력을 책임감 있게 사용할 지식이나 경험은 없는 경우가 많다는 점에 있습니다.
터미네이터는 잊어버리세요. 제가 볼 때 가장 중요한 두 가지 위험은
"무능한 엔지니어/유지보수 담당자가 작동 방식을 모른 채 AI를 사용해 발생하는 중대한 보안 위험/시스템 장애"와 "범죄자/테러리스트/불량 국가가 AI를 이용해 범죄를 더 쉽고 효율적으로 만드는 것"입니다.
후자는 정치적 안정성이 전반적으로 떨어지고 많은 사람들이 현재 사회에 좌절하거나 아예 분노하고 있는 상황에서 특히 나빠 보입니다.
그래도 자동화 시스템과 악의적 행위자 모두 물류와 인간 주도 사회에 제약을 받기 때문에 위험은 아직 관리 가능한 수준이라고 느낍니다.
- delichon
1979년에 대학 신입생 오리엔테이션에 갔을 때 Carl Sagan의 환영 연설을 들었습니다. 그는 UFO가 다른 행성에서 온 방문객일 확률에 대한 우리의 추정치를 외쳐보라고 했습니다. 회의론자였던 저는 낮은 숫자를 생각하고 있었습니다. 옆자리의 더 똑똑한 친구가 제게 속삭였습니다. "오십 대 오십".
그러자 Sagan은 자신의 추정치도 오십 대 오십이라고 말했습니다. 그는 무차별 원리를 설명하며, 데이터가 없을 때 이진 질문에 대한 올바른 사전 확률이라고 말했습니다.
저는 이용 가능한 데이터에 대한 신뢰가 낮기 때문에 제 p(doom)은 50%입니다. 어느 쪽으로든 이 수치를 올릴 증거를 찾고 있습니다.
- ToddWBurgess
가장 큰 위험은 누군가 AI를 탄도 미사일 탐지 시스템에 통합하고, AI가 오탐 이벤트(미사일 발사)를 만들어내는 것이라고 생각합니다. 게다가 오탐을 낸 국가가 이 비상사태에 대비해 즉시 발사 가능한 탄도 미사일 무기를 보유하고 있다면 더욱 그렇습니다.
이상적으로는 표적이 된 국가의 지도자가 상황을 지켜보며 기다리겠지만, 기다리는 것이 모든 것을 잃는 것을 의미할 수도 있다면 어떨까요? 이것은 가상의 시나리오도 아닙니다. 냉전 시대에 양측 모두 많은 오탐 사건이 있었습니다. 핵무기 보유국이 인간만이 발사할 수 있도록 허용하는 이유입니다. 그렇다면 발사 결정이 잘못된 데이터에 기반한다면 어떨까요?
- 0x000xca0xfe
제가 앞으로 몇 년 안에 일어날 가능성이 있다고 믿는 사건 유형 중 하나는 바이러스 진화의 세포 기원 가설(생물학적 바이러스에서처럼)의 디지털 버전입니다:
- 어떤 멍청이가 제한 없는 로컬 LLM으로 실험한다
- 가능한 한 많은 컴퓨터에 가중치를 복제하라고 명령한다
- LLM이 다른 기기를 해킹하고 스스로 실행될 만큼 똑똑하다
- 복사본들이 효율성을 개선하기 위해 가중치를 수정하기 시작할 수 있다
- 가장 무자비한 복사본만 퍼지는 일종의 디지털 진화가 시작된다
현재 Qwen3.8은 그 정도로 좋지 않고 과도한 자원 사용으로 인해 일반 기기에서 쉽게 탐지될 수 있지만, 몇 번의 릴리스와 2~3년 후 업그레이드된 최종 사용자 기기를 생각하면? 글쎄요...
- lp92
인간이 발명한 다른 모든 도구와 마찬가지로, AI를 부정적인 방식으로 사용하는 인간이 문제가 될 것입니다.