AI 개발 중단을 외치는 역설: 나만 빼고

그들은 대중을 향한 AI 개발을 늦추자는 얘기를 하고 있는 거야. 그러면 국가가 대중과 자기들 사이에 능력 격차를 만들 수 있으니까.

왜 아무도 이 명백한 설명을 지적하지 않는 걸까? 이게 왜 "중국과 경쟁해야 한다"는 우려가 갑자기 논의에서 사라졌는지 설명해 준다.

정부는 국가 안보를 이유로 Sam, Dario, Musk를 간단히 입막음해서 모두 같은 대중 메시지 뒤에 서게 할 수 있다.

우리 중 일부는 영업사원들, 따라서 "AI 안전" 선전에도 훨씬 더 면역이 된 게 아닐까 싶다. "AI 안전" 사람들이 권력을 쥐어야 한다고 생각하는 사람과 논리적인 대화를 해본 적이 아직 없다. 그리고 그런 사람들은 대부분이 실제로 원하는 게 권력의 열쇠를 쥐는 것이라는 사실을 정말로 모르는 것 같다.

이란에서 풀어놓을 건지 궁금하네? 물론 한 번 풀리면 여기 인프라가 훨씬 많으니 다시 돌아올 거야.

예측: 몇 년 안에 우리는 이 히스테리를 비웃으며 도덕적 공황이라고 부를 것이다.

"Lygma가 뭐야?"라는 말은 이제 필수지만, 진지하게 말하자면 이 AI 종말론은 코미디의 변곡점에 도달했다. 몇 년 전에는 GPT-2가 너무 위험해서 공개할 수 없다더니, 그다음엔 구글의 어떤 괴짜가 Gemini에 영혼이 있다느니 했고, 그다음엔 Mythos급이 밈이 되더니, 어떤 애는 그만두고 FOX News에 나가서 Skynet 얘기를 했고, 이제는 Amodei와 Altman이 다시 "우리 속도를 늦춰야 한다"는 노선에 올라탔다. 이건 이미 그 길을 가본 뒤고 Claude는 해외에서 금지된 이후인데, 잠깐, 그 금지 아직도 있나? 솔직히 이 시점에선 누가 신경 쓰나.

전부 쇼다. OpenAI와 Anthropic은 아마 망하거나, 더 현실적으로는 부품으로 팔릴 것이다. 그리고 내 (내가 쓴 책, 블로그 글 등) 지식재산과 다른 많은 사람들의 지식재산을 훔친 대가로 그렇게 되어야 마땅하다. 모델이 상품화되는 지점에 도달하고 있고, 다음 수는 이런 추론 시스템 위에 얹히는 일종의 "소프트웨어 계층"이 진짜 혁명이 될 거라고 100% 확신한다. 모델 자체는 더 이상 그렇게 흥미롭지 않을 것이다. 그 주위에서 벌어지는 모든 작업이 가치를 만든다(오늘날 컴퓨터와 휴대폰과 비슷하다. 칩도 놀랍지만 진짜 마법은 소프트웨어다).

유일하게 무서운 부분은 의회의 베이비붐 세대가 이 너드들을 진짜 믿을지도 모른다는 것인데, 빅테크의 지지율이 90년대 빅토바코 수준을 기고 있는 걸 보면 별로 걱정할 건 없는 것 같다.

이상하게도 일종의 정렬(alignment)이 달성될 것처럼 꿈꾸거나 기대되고 있다. 아니면 그게 의도인 것처럼. 이건 40~50년대에 시작된 핵 경쟁과 똑같고 예방은 계속 진행 중이다! 이건 안전과 위험의 문제가 아니다. 더 개방된 핵 접근이 더 안전했을지에 대해 말하는 것도 아니다(그렇지 않다고 본다). 이건 이 잠재적으로 — 아주 곧 — 상상할 수 없을 만큼 위험하고 불안전한 기술 최전선을 소수의 선택된 사람들만 소유하고 통제하는 것에 관한 것이다. 한 나라의 몇몇 회사, 또는 아주 적은 나라들의 몇몇 회사. 다른 모든 사람을 확실히 배제하는 것. 그게 핵심이다.

더 나쁜 건 — 이 경우 "다른 모든 사람"은 다른 모든 국가나 회사만이 아니라, 거의 문자 그대로 다른 모든 사람이다.

이것이 바로 Anthropic의 AI 개발 속도 늦추자라는 요구가 실패할 정확한 이유다. 주주들은 회사가 선두를 잃고 그에 상응해 주가가 급락하는 것을 받아들이길 꺼릴 것이다.

게다가 이는 중국이 따라잡아 결국 이 분야에서 미국을 앞질렀다고 선언하게 만들 수 있다. 미국 정부는 그런 일이 일어나도록 허용하지 않을 것이다.

이건 권력의 통합에 관한 것이다.

오픈 웨이트 모델들이 최전선을 따라잡고 있다. 또한 최전선 모델들이 어떤 한계에 도달한 것처럼 보인다. 이것이 자본지출(capex) 관련인지, 비즈니스 모델 관련인지, 아니면 다른 무언인지는 아무도 모르지만, 모든 최전선 연구소에서 벌어지고 있는 것 같다.

AI가 우리 모두를 죽일 거라는 공포 조장은 여러 번 있었다. 하지만 이번에는 Anthropic에서 근무한 지 2~3개월 정도밖에 안 된 사람이 이전 소셜 미디어 계정 활동도 없이 바이럴되고, 모든 뉴스 매체에 실리고, 또 한 차례의 공포 조장을 시작했다.

그래서 진짜 물어봐야 할 질문은

* 이 모든 게 IPO 전에 밸류에이션을 높이기 위한 것인가?

* 오픈 웨이트 모델이 대중에게 사용되기 위한 진짜 진입 장벽은 무엇인가?

* 이 회사들의 재무제표가 안전에 대한 이런 외침을 촉발하는 무엇을 보여주고 있는가?

사람들은 주변에서 일어나는 일에 대해 정말 비판적으로 생각해야 한다. 여기 제시된 것의 액면가만 봐서는 안 된다.

AI가 어떻게 될지 정말 모르겠다. 솔직히 좀 무섭다. 어릴 때 그냥 재미로 곱씹던 질문 'AI가 반란을 일으키면?'이 그렇게 먼 얘기처럼 느껴지지 않을 수도 있으니까. ChatGPT가 나온 게 불과 몇 년 전 같지만, 이미 얼마나 멀리 왔는지 보면 미래의 AI가 어떨지 예측하는 게 불가능하다. 그저 인류가 이걸 잘 헤쳐나가길 바랄 뿐이다.