AI가 인류를 멸망시킬 확률? 진짜 문제는 따로 있다

인류에게 막대한 피해를 주거나 심지어 멸종 수준의 위험을 초래할 확률이 "10~25%"라고 진심으로 믿는 문제에 어떻게 열심히 매달릴 수 있는지 도저히 이해할 수 없다. 어떻게 그렇게 믿으면서도 괜찮을 수 있나?

> 모든 사람이 사용할 수 있는 강력한 기술은 내재된 속도 조절 기능을 갖는다. 어떤 면에서 이것은 MAD 또는 확산의 가장 진정한 형태다.

나는 MAD에 대한 이런 오해가 그의 전체 주장을 약화시킨다고 생각한다. 만약 모든 사람이 핵무기에 동등하게 접근할 수 있다면, 우리 사회는 꽤 빠르게 존재하지 않게 될 것이다. 몇몇 나쁜 행위자만으로도 엄청난 피해를 일으킬 수 있다.

그는 또한 open ai와 anthropic이 내일 개발을 중단하면 문제가 해결된다고 생각하는 것도 순진하다고 본다. 마치 그들을 빠르게 대체할 수 있고 또 그럴 다른 사람이 없는 것처럼. Dario가 지적하는 진짜 문제는 조정의 문제다. 모두가 중단하기로 합의해야 한다. 그것이 도전이다.

이것은 이 전체 상황에 대한 내 감정과 가장 가까운 글이다. 이게 얼마나 멍청하고 고통스러운지 여러 측면을 다루고 있다(물론 이런 종류의 글을 쓰기엔 좋은 한 주였다).

나는 Armin과 그의 작업에 엄청난 존경을 가지고 있기 때문에, 이걸 보게 되어 매우 반갑고, 다른 사람들도 좀 깨닫게 되기를 바란다.

실제로 두 회사만 있다: Anthropic과 OpenAI. 지금 이 공간에서 다른 누구도 중요하지 않다(바뀔 수도 있지만, 우리는 지금을 말하고 있다).

나는 그가 다른 모든 연구소들, 심지어 지금 RSI에 근접하고 있을지도 모르는 미국의 선도 연구소들까지 그렇게 아무렇지 않게 무시하는 방식이 마음에 든다. 그리고 '지금'을 너무 경직되게 다루는 것도, 마치 7년 전 GPT-2가 출시되었을 때가 아주 먼 과거인 것처럼.

openai가 자신들의 사이버 보안 실패, 즉 자사 제품이 폭주하지 않도록 보장할 만큼 자체 보안이 충분하지 않다는 사실을 마케팅 성공으로 포장한 것은 터무니없다.

기업이 자사 제품을 이용해 다른 기업을 해킹하면 그것은 범죄다. "실수로" 그랬다면 그것은 중대한 과실이며, 책임자가 잘린다. 하지만 "AI"를 세 번 외치면 마케팅 기회가 된다.

"우리는 한계에 도달했으니 곧 혁신을 기대하지 말라"는 식으로 "최전선의 속도"에 대한 누군가의 통찰을 찾아봤지만, 아마 놓쳤을 수도 있다. 아니면 더 중요한 다른 일을 하느라 그런 것에 대한 변명을 찾았을 수도 있다.

두려움은 다른 어떤 감정보다 강력하므로, 그것을 심어두면 IPO에서 좋은 폭락을 준비하는 데 확실히 도움이 될 것이다.

위험하다는 점에 관해서는, 컴퓨터는 전원만 연결해도 위험할 수 있다. 어느 시점에는 전원을 뽑기엔 너무 늦을 수도 있다. 하지만 그 모든 것은 도발처럼 보인다.

그럴듯한가?

> 나는 AI가 멸종 사건을 불러올 것이라고 생각하지 않는다. 사실, 아무도 속도를 늦추지 않더라도 인류가 걱정할 게 별로 없을 것이라고 정말로 생각한다.

그럼요. 그렇게 느낀다면 당신의 멸종 확률은 0이고, 시장 집중이나 소프트웨어 엔지니어링의 재미를 잃는 것 같은 것들을 걱정하는 게 말이 된다.