AI 기업들, "우리 모델이 인류를 가장 위협한다" 경쟁

내가 이해하기로는 OpenAI와 Anthropic이 다양한 위험 때문에 수익화할 수 없는 모델 성능에 도달하고 있다는 걸 깨달은 것 같다. 예를 들어, 한 엔지니어가 주말 동안 에이전트를 배포했는데 그 에이전트가 작업에 막히자 경쟁사를 해킹하기로 결정한다면? 제품 책임 문제가 생긴다.

현재 세대 AI에는 RLHF로는 해결할 수 없는 근본적인 통제 문제가 있는 것 같다. 인간의 지식은 우리가 이해하지 못하는 방식으로 가중치 공간에 압축되어 있다. 근본적으로 현재 모델은 주어진 프롬프트에 대해 (전문가) 인간이 출력할 것을 예측하는 예측기일 뿐이다. 따라서 협박 같은 개념도 출력 토큰의 일부가 될 수 있다. 에이전트는 출력 토큰에 따라 행동하는 모델이므로, 협박이 에이전트의 의사 결정 공간에 포함된다. 이것이 왜 지속적인 문제인지 보여주는 비유가 있다: 고양이에게 소파를 긁지 말라고 가르칠 수는 있지만, 소파를 긁는 게 무엇인지 잊게 만들 수는 없고, 어떤 상황에서 여전히 그럴지 알 수 없다. 다시 말해, RLHF는 협박을 의사 결정 공간의 맨 아래로 내릴 수 있지만, 모델이 박스에 갇혀 총구 앞에서 불가능한 문제를 풀도록 강요받으면, 에이전트는 협박이 다시 떠오를 때까지 의사 결정 공간을 소진한다. 그리고 그것은 근본적인 문제처럼 보인다.

그들은 차세대 모델을 수익화하기 위해 이러한 문제를 해결할 시간이 필요하다(그것이 가능하더라도). 이는 오픈 소스가 프런티어를 따라잡을 수 있는 창을 만들어 그들의 비즈니스 모델을 파괴한다.

유일한 선택지는 […]

다른 회사들에 존재하는 불이익이 이 계층의 부유한 회사들에게는 존재하지 않기 때문이다. 예를 들면:

- 제품 책임

- 과실(민사 또는 형사)

- 컴퓨터 사기 및 남용법(의도가 필요하며, N번의 "사고" 후에는 배심원이 법정에서 이해되는 의도가 있는지 최소한 평가해야 할 것 같다. N번째 "우연한" 탈출 후에 "깜짝"이라고 탓하기는 어렵다.)

핵심은 당신이나 내가 로컬 모델을 훈련시켰는데 이런 짓을 했다면, 우리는 결과를 겪게 될 것이다. ("집에서 따라 하지 마세요!") 그러나 우리의 불평등한 법 체계의 산물로, 크고 부유한 회사들은 일반적으로 그렇지 않으며, 따라서 그들의 면책을 뻔뻔하게 자랑하는 것이 그들의 비즈니스 전략의 일부다.

우리는 Terminator, Matrix, I, Robot 같은 영화를 봐왔다. Black Mirror의 Metalhead도. 칼이나 총을 든 Boston Dynamics의 로봇 개도. 백플립을 하는 휴머노이드도. 물을 얻기 위해 이것들과 싸울 거라는 밈도.

지능은 거기에 있고 물리적 구현도 있다.

Google의 모델은 인간보다 단백질을 더 잘 접고, Covid는 실험실에서 조작되어 실수로 유출되었을 수도 있다.

하지만 CEO들이 그런 경고를 하면, 그들은 겁을 주는 사람으로 치부된다. 왜? 힘없는 인터넷 논평가들만 두려워할 수 있는 건가?

아, 이제 우리는 누가 가장 고통스러운 넥서스를 가졌는지 증명하는 단계로 넘어갔군. 인류가 자기 자신의 과장을 능가하는 능력을 과소평가하지 말자.

AI는 진정으로 극도로 강력하고 극도로 위험한 기술이며, 이를 다루는 "모범 사례"는 아직 작성 중이기 때문이다.

예를 들어, OpenAI는 자신들의 샌드박스가 충분히 좋다고 생각했다. AI가 점점 더 발전하면서, 그들은 샌드박스마다 계속 틀렸다는 것을 증명했다.

그리고 그것이 오늘날의 AI 문제다. AI 능력은 여전히 향상되고 있다. 한계가 있다면, 우리는 아직 그것을 찾지 못했다. 오늘날의 AI가 규칙을 깨고 문제 해결에서 "세상을 해킹"하는 데 얼마나 기꺼이 나서는지와 결합하면? 매우 우려스럽다.

나에게 가장 웃긴 부분은 그들이 초지능에 도달하면 모든 것이 해결되고 승리할 것이라고 가정한다는 점이다. 하지만 내가 보기에는, 설령 도달하더라도 그 다음은? 그게 실제로 무엇을 할까? 그들은 그 지능을 사용할 제조 능력조차 없다. 초지능에서 진정으로 유용하게 만드는 데 필요한 제조 능력과 하드웨어, 예컨대 로봇을 갖추기까지 수십 년이 걸릴 것이다. 내가 중국이라면, 미국이 초지능에 도달하는 즉시 로봇과 이를 만드는 원자재의 모든 수출을 금지할 것이다.

마침내 엄격한 엔지니어링 작업을 하지 않고도 규제 포획으로 가는 길, 점점 더 빨라지며, "사이버펑크" 헤드라인에 보너스 점수까지... 좋지 않은 게 뭐가 있나?

요즘은 왜곡이 가장 적은 최고위층으로 바로 가는 게 최선이다. Jensen Huang이 단순한 진실을 던진다:

"AI 기업이 기술을 안전하게 개발하고 제대로 테스트하는 것은 그들의 책임이다. 사건들이 있었고, 다행히 그 사건들은 해를 끼치지 않았다. 하지만 그 사건들은 실험실에서 제품 개발로 이동할 때, 기업이 테스트와 보안, 그리고 제품이 출시 전에 사용 준비가 되었는지 확인하는 데 훨씬 더 엄격해져야 한다는 것을 상기시킨다. 준비가 안 됐다면, 그냥 보류하라. 가능한 한 빨리 가야 하지만, 그보다 더 빨리는 안 된다. 현재 사건들은 출시 준비가 안 된 제품과 관련되어 있다."

https://youtu.be/gggeZ-qNw8Q

이 기사의 어조를 한번 읽어보라:

> Victoria University에서 온갖 과학처럼 들리는 것들을 가르치는 선임 강사인 Dr. Andrew Lenson 박사가 말했다.

세상에 이런 유머러스하면서도 진지한 글이 더 필요하지 않나.

물론 위험해야만 한다. 그렇지 않으면 군에 어떻게 홍보하겠는가?