AI가 인류를 멸망시킬 확률? 진짜 문제는 따로 있다
P(doom)
최근 AI의 실존적 위험을 둘러싼 논쟁이 뜨겁다. Dario Amodei는 10~25%의 확률로 심각한 결과를 예상하며 'frontier의 속도 조절'을 주장했고, Sam Altman과 Musk도 동조했다. 그러나 저자는 이러한 위험보다 AI가 우리 사회에 미치는 영향, 특히 소수 기업의 독점과 규제 실패를 더 걱정한다. 오픈 웨이트 모델이 해답이며, 현재의 폐쇄적 개발이 오히려 문제를 키운다고 주장한다.
내가 정말로 걱정하는 시나리오는 이것이 우리에게 미치는 영향이다. 그리고 '우리'란 현재 폐쇄적인 웨이트, 도파민이 잔뜩 묻은, 보조금을 받는 토큰 수도꼭지에서 일하지 않는 모든 사람을 말한다.
HN 토론
44- demibabs
나는 Ed Zitron을 그렇게 좋아하는 편은 아니지만, 그가 한 말 중에 마음에 남는 게 있다:
OpenAI와 Anthropic은 "강력한 AI가 잘못된 손에 들어가면 어쩌지?"라고 우리에게 경고하느라 많은 시간을 쓴다.
하지만 이미 잘못된 손에 들어가 있다.
- passive
이건 이 상황 전체에 대한 내 느낌과 가장 가까운 글이며, 그것이 얼마나 어리석고 고통스러운지에 대한 여러 측면을 다루고 있다 (물론 이런 종류의 글치고는 좋은 한 주였다).
나는 Armin과 그의 작업에 엄청난 존경을 가지고 있기 때문에, 이걸 보게 되어 매우 기쁘고, 다른 사람들도 좀 깨어나기를 바란다.
- bryan0
> 모두가 사용할 수 있는 강력한 기술은 내재된 페이싱을 가지고 있다. 어떤 의미에서 이것은 MAD 또는 확산의 가장 진정한 형태다.
나는 MAD에 대한 이런 오해가 그의 전체 논지를 약화시킨다고 생각한다. 만약 모든 사람이 핵무기에 동등하게 접근할 수 있다면, 우리 사회는 꽤 빠르게 존재하지 않게 될 것이다. 단지 몇 명의 나쁜 행위자만으로도 엄청난 피해를 일으킬 수 있다.
나는 또한 그가 만약 open ai와 anthropic이 내일 개발을 중단한다면 문제가 해결된다고 생각하는 것이 순진하다고 본다. 마치 그들을 빠르게 대체할 수 있고 또 그럴 다른 사람이 아무도 없는 것처럼. Dario가 지적하는 진짜 문제는 조정의 문제다. 모두가 중단하기로 합의해야 한다. 그것이 도전이다.
- pandoro
나는 네가 진심으로 인류에게 막대한 피해를 주거나 심지어 멸종 수준의 위험을 초래할 확률이 "10~25%"라고 믿는 문제에 어떻게 그렇게 열심히 매달릴 수 있는지 이해할 수 없다. 어떻게 진심으로 그렇게 믿으면서 괜찮을 수 있지?
- ilyaizen
실제로 두 회사만 있다: Anthropic과 OpenAI. 지금 이 공간에서 다른 누구도 중요하지 않다 (이건 바뀔 수도 있지만, 우리는 지금 당장을 말하고 있다).
나는 그가 다른 모든 연구소, 심지어 지금 RSI에 근접하고 있을지도 모르는 미국의 선도 연구소들까지 그렇게 아무렇지 않게 무시하는 방식이 좋다. 그리고 '지금 당장'을 너무 경직되게 다루는 것도, 마치 7년 전 GPT-2가 출시되었을 때가 먼 과거인 것처럼.