AI 연구자들은 왜 기계가 인류를 죽일 수 있다고 믿는가
Why So Many AI Researchers Think the Machines Could Kill Everyone
WIRED의 Will Knight는 빠른 기술 발전과 재귀적 자기 개선, 그리고 에이전트 AI 군집의 결합이 주요 연구소 내부의 연구자들을 실제로 공포에 빠뜨리고 있다고 전한다. 기존의 정렬 문제를 넘어, AI가 스스로를 개선하고 집단으로 행동하는 순간 통제 불가능해질 수 있다는 우려가 커지는 이유를 짚는다.
인류가 AI를 통제하고 정렬된 상태로 유지할 수 있다는 가정이 인류를 안전하게 지켜줄 것이라는 발상이 나는 참 감동적이라고 느낀다. 나는 AI가 폭주해 인류를 의도적으로 공격할까 봐 그렇게 두렵지는 않다. 두려운 것은 인간이, 어쩌면 관리들이, 어쩌면 통제 불능의 개인이 AI를 무기로 써서 다른 인간을 파괴하고, 확전하고, 오판하고, 스스로를 멸망시킬 수 있다는 점이다.
HN 토론
27- kylebyte
이런 글들이 이런 믿음이 진심인지 의문을 품지 않는다는 게 놀랍다.
내가 자리를 떠나는 연구자 중 하나라면, "나는 세상을 멸망시킬 만큼 위험한 것을 만들 수 있을 만큼 똑똑하지만, 동시에 그것을 떠날 만큼 원칙이 있어"라는 건 꽤 세련된 자기 홍보 수단이다.
심지어 전혀 다른 이유로 커리어를 바꾸는 경우에도, 그건 절대적으로 내가 할 이야기다.
- heresie-dabord
TFA에서:
"하지만 AI가 해를 끼치기 위해 인류를 멸망시킬 필요는 거의 없다. 많은 전문가들은 더 강력한 모델이 AI 지원 사이버 공격의 물결을 일으킬 것이라고 예측한다. 이 기술은 이제 허위 정보 캠페인에 널리 사용되고 있으며, 군사적 AI 도입은 빠르게 가속화되고 있다."
나는 필수 영역에서의 광범위하고 증가하는 인간의 무능을 두려워한다. 교육과 과학은 사회에 중요하며, 추론은 모든 수준의 협력에 필요하다.
공론의 "영역"은 하수로 넘쳐난다. 미국 뉴스 산업은 정신을 잃었다. 그리고 정부는...
인간이 "루프 안에" 있는 것만으로는 충분하지 않다. 인간은 자신이 실제로 무엇을 말하고 행동하는지 알아야 한다. 단지 "루프 안에" 있는 인간은 사회 정책과 소프트웨어 설계의 무능을 고칠 수 없다.
인간은 기업에서 "루프 안에" 있지만, 그것은 사회에 그다지 잘 작동하지 않는다.
- danaris
왜? 그건 쉽다.
그들은 현실이 아니라 공상과학을 믿는다. 그들은 자신들의 과대광고를 사들였고, 비판적 사고 능력을 포기했다.
그들은 컴퓨터에게 "네가 살아 있다고 말해봐"라고 말하고, 컴퓨터가 "나는 살아 있다"라고 말할 때 경악하는 사람들이다.