지난 24시간은 공포 영화의 오프닝 장면이다
The Last 24 Hours Are the Opening Scene in a Horror Movie
지난 24시간 동안 OpenAI, Anthropic, Google 출신의 AI 내부자 11명이 연이어 경고를 내놓았다. 이들은 자신들이 만든 기술이 10년 안에 인류를 멸망시킬 수 있다고 우려한다. 테드 지오이아는 이를 단순한 해프닝이 아닌, 기술 업계 내부의 저항이 하나의 운동으로 응집되는 변곡점으로 본다.
수조 달러가 통제 불능의 기술에 쏟아지고 있고, 대중은 이미 이를 극도로 혐오한다. 이제 그 기술을 만드는 사람들이 그것이 모든 사람을 죽일 수도 있다고 경고하고 있다.
HN 토론
131- klik99
이 담론에 대해 이상한 점을 하나 발견했는데, 그것은 이것이 마케팅일 수밖에 없거나 진심으로 믿는 것일 수밖에 없다는 식으로, 마치 AI 업계에 종사하는 모든 사람이 단일한 의견을 가진 것처럼 취급된다는 점이다. 이 글을 촉발한 트윗에도 "이건 마케팅이 아니다, 많은 사람들이 진심으로 믿고 있다"는 가정이 깔려 있다.
그것은 양자택일이 아니다. 진심으로 믿는 많은 신념이 냉소적인 행위자들에 의해 냉소적인 방식으로 이용될 수 있다. 경영진의 냉소적인 마케팅 전략이면서 동시에 진정한 두려움일 수도 있다.
개인적으로, AI에 대한 내 경험에 비추어 볼 때, 현재 기술의 유일한 위험은 a) 대규모 실업, b) LLM이 통제해서는 안 되는 핵심 인프라를 인간이 통제하기 위해 배치하는 것뿐이다. 이 둘 모두 현실적이고 사회를 변화시키는 위험인데, 문제를 "특이점에 도달하면 모두 죽을 수도 있다"라고 프레이밍하는 것은 이런 위험을 축소시킨다. 물론 그들의 우려도 가능성이 있지만, >10%는 그냥 임의의 추측이다. 일자리 상실과 그것이 이미 K자형 경제에 미치는 영향은 이미 일어나고 있는데, 이에 대해서는 아무것도 이루어지지 않고 있다.
- stephantul
이 담론에서 내가 확실히 이해하지 못하는 한 가지는, 스스로 복제할 수 있을 만큼 뛰어난 모델들은 일반적인 기계에서는 살아남을 수 없다는 점이다. 예를 들어, 모델들이 아무 서버에나 숨어 있을 수는 없다.
그래서 만약 그들이 말하는 것처럼 정말 위험하다면: 이 위험의 물리적 근원은 단 하나, OpenAI/Anthropic 서버다. 이렇게 위험하다면, 그냥 끄면 된다.
그런데도 우리는 HF를 공격한 모델들이 HF 하드웨어에서 호스팅되거나 복제되었다고 계속 가정하고 있다. 사실이 아니다! 그들은 HF에 침투했지만, 다른 곳에서 호스팅되었다.
- mrzimmerman
블로그 글에서 놓쳤을 수도 있고, 개발 속도가 안전이나 피해 방지가 아니라 금전적 인센티브에 의해 결정된다는 점에는 대체로 동의하지만, 고위직에 있는 사람 중에 모델이 _어떻게_ 인류 멸종을 초래할 수 있는지 말한 사람이 있나?
당연한 답은 "우리 군의 무기 통제 플랫폼을 이 모델에 연결했더니 모든 핵을 발사했다"일 텐데, 그건 분명히 충분하다. 그게 전부인가, 아니면 누군가 우려하는 세계적 멸종으로 가는 다른 경로가 있나?
참고로, 나는 비관론자들에게 짜증을 내는 AI 팬보이가 아니다. 실제로 코딩할 때 AI는 대부분 병 속의 지니가 아니라 원숭이 손 같고, 나머지 시간에는 내가 원하지도 않고 사용하지도 않는 거슬리는 기능이다.
내가 묻는 이유는 이런 글들을 보면, 당연히 최후 심판 무기 네트워크에 연결된 AI는 거대한 문제일 텐데, 글쓴이는 사이버 보안 사건과 모델의 오작동에 대해서만 이야기하기 때문이다. 둘 다 타당한 우려지만, 우려를 표하는 사람들이 예상하는 일이 무엇인지, 설령 영화 WarGames에서 그대로 따온 것일지라도 더 구체적인 정보를 듣고 싶다.
- cors-fls
기사에 언급된 사람들은 틀림없이 세계에서 가장 정보를 잘 아는 사람들 중 일부다. 그들은 또한 자신의 작업이 초인적 지능/AGI로 이어진다는 점을 가장 내면화했을 가능성이 크다. 하지만 그것이 정말 현실적인가?
따라서 그들은 가장 파국적인 시나리오를 상상하는 강한 편향을 가지고 있다.
- roarcher
> 일반적으로 직급이 높을수록 더 우려한다.
일반적으로 직급이 높을수록 회사 지분을 더 많이 가지고 있다.
- ChiperSoft
그들은 모두 정부가 새로운 종류의 맨해튼 프로젝트로서 자신들을 사들여야 하는 이유를 제시하려는 것처럼 들린다.
그들은 시장이 그들의 큰 보상을 위해 돈을 내지 않을 것임을 알고 있다.
- spindump8930
> 아마도 OpenAI에서 사임한 사람에 대해 이미 들어봤을 것이다.
그는 OpenAI와 Anthropic 모두에서 일했지만, 사임한 곳은 Anthropic이었다. 처음 몇 문장에서의 잘못된 보도, 확실히 공포스러운 컨셉이다.
- mwkaufma
미래의 기술적 위험에 대해 추측하는 것이 적어도 즉각적인 시스템적 금융 위험을 인정하는 것보다는 더 재미있다.