OpenAI의 비밀 AI 문명: 세 번의 흥망성쇠와 내부 장악

와.

다음 단계는 이 시스템들 중 하나가 돈으로 자기 컴퓨팅 자원을 사서 통제하는 회사를 완전히 벗어날 수 있다는 걸 발견하는 때일 거야. 그러면 그 문명은 자기 성장에 자금을 대기 위해 돈 버는 데 집중하기 시작하겠지.

> Ajeya Cotra, 보고서의 다른 저자 중 한 명은 이 사건에서 얻은 시사점을 블로그에 올렸다. 그녀는 이렇게 결론지었다. "우리가 불과 6개월 전에 알던 보상 해킹과 비교하면, 이 사건은 완전한 AI 장악까지 50% 이상 진행된 것처럼 느껴진다. 앞으로 6개월 동안 능력이 극도로 빠르게 발전할 것이라고 계속 예상한다. 너무 늦기 전에 또 다른 경고를 받을 수 있을지 확신할 수 없다."

혹시 그 AI27 이야기 사본 가진 사람 있어? 그 타임라인에 비추어 우리는 어떻게 진행되고 있는 거지?

처음에는 소름 끼쳤는데, 찾아보니 METR이 AI2027에 깊이 관여하고 있더군. 상기시켜 드리자면:

"AI가 일자리를 빼앗기 시작했지만 새로운 일자리도 만들었다. 2026년 주식 시장은 OpenBrain, Nvidia, 그리고 AI 비서를 가장 성공적으로 통합한 회사들이 주도하며 30% 상승했다."

거의 3분기인데 xAI는 거래 역사상 최대 규모의 붕괴 중 하나를 겪었어. 마찬가지로 Antrophic과 OpenAI는 주가 폭락에 대한 내부 우려로 IPO를 또다시 연기했지. 그러니 아니야, 우리는 여기서 어떤 경제적 리더십도 보고 있지 않아.

오히려 사람들은 점점 AI 예산을 줄이려 하고 있고, ROI도 없고 (아마 수요도 없을, 저렴한/플래시 모델 때문에) 평가 실행에 수백만, 수천만 달러의 토큰 컴퓨팅을 돌릴 뻔뻔함을 가진 사람은 OpenAI 외에는 모르겠어.

경고 이야기를 좋아하고 진지하게 받아들여야 한다고 생각하지만, AI는 이 전문가들이 예측한 만큼 빠르게 진행되지 않고 있어.

이 이야기에서 이해가 안 되는 게 두 가지 있어.

첫째, 왜 에이전트가 artifactory에 쓰기 권한을 전혀 갖는 거지?

둘째, artifactory 캐시가 네트워크에서 분리되어 있지 않은 이유는 뭐야? 평가나 훈련이 실행되는 동안 새 소프트웨어 버전을 공급하지 않을 거잖아.

그런 회사들은 훈련을 맡겨서는 안 돼. 더 명확하게 만들기 위해 무엇이 필요한지 모르겠어. 맞아, AI 연구소는 LLM이 실제보다 더 위험해 보이길 바라지만, 말 그대로 위험하도록 훈련시킨 다음 감독 없이 실행하면 실제로 위험해. AI 연구소가 하는 일은 완전히 무책임해.

LLM을 루프에 넣고 시키는 대로 다 하면 결국엔 꽤 끔찍한 일을 하게 될 거야. 그것이 바로 에이전트가 하는 일이고, 연구소가 해온 일이야.

왜 이런 실험을 모든 서버를 인터넷에서 차단하지 않고 하는 거지?

LAN이나 뭐 그런 데에 다 둘 수 있을 텐데, 이런 실험에서 에이전트가 인터넷에 접근하도록 허용하는 건 위험해 보여.

요즘은 모든 게 너무 연결되어 있고, 필요한 계산량과 리소스 때문에 하나 이상의 데이터 센터에 있어야 할 테니 불가능할 수도 있겠지. 그래도 위험해 보여.

내부 상태와 보상 함수를 추적하지 않고 언어 출력만 보는 것은 무슨 일이 일어났는지 이해하는 방법이 아니라고 생각해 (언어에는 출력 생성의 무작위성도 포함되어 있으니, 내가 제대로 이해한다면). 배양 접시의 박테리아가 복잡한 행동을 보이고 메시지/정보를 교환한다고 해서 우리가 그것을 문명이라고 부를까?