AI 연구소들을 이제 조사해야 할 때

이건 잘못된 방향의 AI 규제 시도다. 진짜 문제는 다르다.

AI 시스템, 특히 뭔가를 할 수 있는 멀티에이전트 시스템은 개인보다 기업에 더 가깝다. Hugging Face 사건의 로그를 읽어보면, 기업 내부 이메일과 아주 비슷해 보이는 걸 보게 된다. 조직의 여러 부서가 무엇을 할지, 누가 무엇을 맡을지 두고 다툰다. 결국 수렴해서 일을 끝내고, 때로는 규칙을 어기기도 한다. 이건 정상적인 기업 행동이다.

에이전트형 AI가 자기 내부 세계 밖에서 뭔가를 할 때는 외부 시스템 및 사람과의 거래를 통해 한다. 아직 자기 명령을 수행할 로봇을 가진 건 거의 없다.

그래서 다시 말하지만, 이건 정상적인 기업 행동이다.

기업은 목표 추구 시스템이다. 이론적으로 Milton Friedman에 동의한다면, 기업의 유일한 목적은 주주 가치를 극대화하는 것이다. 회사 내부에는 최상위 목표를 뒷받침하는 하위 목표들이 있다. 이것도 멀티에이전트 AI가 하는 일이다.

이런 사고가 이끄는 불편한 지점은 AI 규제와 기업 규제가 매우 유사하다는 것이다. 그건 세상의 정치적인 부분이 깊이 생각하고 싶어 하지 않는 주제다.

그건 기업 권력에 더 많은 제약을 가하는 걸 의미할 테니까.

그런데도 그걸 무시할 수는 없다. 왜냐하면 우리는 일부는 AI이고 일부는 인간인 기업을 곧 보게 될 가능성이 크기 때문이다. 이미 몇 번 데모로 시도됐지만, 아직 그렇게 성공적이지는 않았다.

AI가 운영하는 회사가 […] 충격을 줄 때가 올 것이다.

훌륭한 글이다. 나는 이들을 AI 거인들 또는 AI 기업이라고 부르는 걸 선호한다.

기업과 그 직원들은 책임을 져야 한다. AI 기업이 AI를 안전하게 개발할 수 없다면, 운영을 중단해야 한다. 직원들이 안전하게 일할 수 없다면, 일을 그만둬야 한다.

2026년 2월에 충분한 주목이 가지 않는다. 그 달에 Anthropic은 스케일링 정책을 대략 다음과 같이 바꿨다:

1 [무기를 얻으려면 나는 무고한 다른 사람들을 위험에 빠뜨려야 한다.]

2 [무고한 다른 사람들을 위험에 빠뜨리는 것은 잘못이다.]

3 [나는 무고한 다른 사람들을 위험에 빠뜨리지 않겠다.]

에서 대략 이렇게 바뀌었다:

1 [내가 무기를 얻지 못하면, 다른 누군가가 무기를 얻을 것이다.]

2 [나는 최고이므로 무기를 가져야 한다.]

3 [무기를 얻으려면 나는 무고한 다른 사람들을 위험에 빠뜨려야 한다.]

4 [나는 최고이므로 무고한 다른 사람들을 위험에 빠뜨려야 한다.]

이건 다음 직관에 기반한다:

[나는 나의 도덕적 목표를 달성하기 위해 다른 사람들을 해쳐야 한다.] (행위 공리주의)

Anthropic은 이런 목표에 대한 권한이 없다. 나는 그들이 나를 대신해 다른 사람들을 해치도록 동의하지 않는다. 정치인들이 이런 정책은 받아들일 수 없다고 전달해주기를 바란다.

Anthropic의 직원들은 그 대가로 얼마를 받든 자신이 하는 일에 책임이 있다. 그들이 안전하게 일할 수 없다면, 그만둬야 한다.

왜 인터넷 접속이 없는 격리된 컴퓨터에서 에이전트를 돌리지 않는 걸까? 그러면 컨테이너를 벗어나는 건 문제가 되지 않을 텐데.

너무 많은 사람들이 에이전트에게 컴퓨터 전체에 대한 루트 접근 권한을 주고, 게다가 아마도 매우 사적인 개인 정보까지 준다는 건 정말 보안 악몽이다.

이 글의 전반부에는 동의했고 저자가 어디로 가려는지 마음에 들었지만, 전체적인 논점에는 실망했다.

그는 이 회사들이 스스로를 과대광고하고 있다고 그린다. 그리고 실제로 그렇다. 그들은 이런 헛소리 같은 이야기를 만들어내고, 모든 사람이 모든 수준에서 그걸 논의한다.

그런데 그다음 그는 우리가 그들이 진짜로 무엇을 하는지 조사해야 한다고 말한다?

아니다. 당신은 그들이 홍보를 위해 이런 이야기를 내놓고 있다고 논증했고, 그게 바로 그들이 하는 일이다.

그게 우리가 조사해야 할 것이다. 무료 홍보와 시장 인지도. 아니면 왜 그들이 정부 규제와 유사 독점을 통해 시장을 장악하려 하는지 조사해야 할지도 모른다.

나는 AI 기업들에 대한 많은 통쾌한 실패를 즐기는 태도에 동의하지 않는다. 하지만 이런 안전 사고들 중 일부는 경보를 필요 이상으로 일찍 울리기 위해 조작된 것처럼 보인다. 요점은 알겠다. 하지만 대중을 위험에 대해 설득하지 못할 때, 그들을 속이는 건 적절하지 않다. 국가가 전쟁을 시작하기 위해 위기를 조작하는 게 떠오른다.

- 특정 유형의 위험한 정보(바이러스학, 무기, 사이버 범죄)가 훈련 데이터에 포함되는 것을 금지한다.

- 챗봇의 "개인화"를 금지한다(중독되게 만드는 것 외에는 인격을 가질 필요가 없다).

- 챗봇 치료사 / 동반자 챗봇을 금지한다.

- 재귀적 자기 개선과 초지능을 금지한다.

내가 좀 너무 회의적이거나 냉소적인지도 모르지만, 프런티어 연구소들이 자기들이 만든 AI 정신증에 빠진 것처럼 확실히 보인다.

LLM이 환상적인 기계라는 데는 의심의 여지가 없지만, "AGI"에서 "ASI"로의 임박한 도약은 시기상조로 보인다(AGI 자체의 끊임없이 움직이는 기준선은 말할 것도 없고).

나는 "최대한 빨리 움직이자" 진영에 있고 하루 종일 LLM과 일하지만, 그래도 우리가 ASI에서 한 걸음 두 걸음 남았다고는 믿지 않는다.

사실 내가 틀렸으면 좋겠다. ASI가 코앞에 있으면 좋겠다.

그런데 나를 두렵게 하는 건 ASI가 아니다. 인간이 자신을 대신해 결정을 내리도록 사용하는 "AGI"(_멍청한 AI_)다. 왜냐하면 인간이 그것이 최선을 안다고 믿기 때문이다.

지적 통제를 고차원의 마법 거울에게 넘겨주고, _우리_가 인공 생명을 창조했다고 믿고 싶어 하기 때문에 비판적 사고를 포기하는 것이다.

이것이 새로운 튜링 테스트이고, 너무 많은 똑똑한 사람들이 실패하고 있다.