AI는 가혹한 여주인: 의식 있는 기계의 정치학

최근에 『달은 무자비한 여주인』을 읽고 있는데, 그 책이 얼마나 예언적인지 충격을 받았다. 오늘날의 AI 맥락에서 이 책에 대해 더 많이 읽지 못한 것이 좀 놀랍다.

"오늘날 AI 의식에 대한 논의의 상당 부분은 경험적 증거가 아니라 기능주의에 기반을 두고 있다..."

내 견해로는 의식에 대한 경험적 검사는 결코 존재할 수 없다. 왜냐하면 기능주의가 틀렸기 때문이다. 기능주의가 맞다면 그런 검사가 존재했을 것이다. 근본적으로 1인칭 현상에 대한 3자 검사는 있을 수 없다.

우리가 AI에 의식을 잘못 부여할 위험에 처해 있다는 생각은 나에게 터무니없게 들린다. 인간은 항상 자신이 권력을 가진 존재들의 주관적 경험(의 부재)에 대해 편리한 대로 가정한다. 이 경우 후자는 더 이상 성립하지 않을 수도 있지만, 그렇다면 우리가 무엇을 생각하는지는 전혀 중요하지 않을 것이다.

> Chalmers의 용법에서 의식은 주관적 경험이며, 의식적인 시스템이 된다는 것은 그렇게 느껴지는 무언가가 있다는 것이다. 그럼에도 불구하고 Transformer 아키텍처나 다음 단어 예측에는 그러한 내적 관점이 존재한다는 증거가 없다. 자기 보고("나는 감각이 있다")와 유창한 대화는 약한 증거인데, 이러한 모델은 인간의 1인칭 진술로 가득 찬 방대한 말뭉치로 훈련되기 때문이다. 이러한 유형의 언어적 보고는 공유된 생물학과 행동에 기반을 두기 때문에 인간에게는 효과가 있지만, 기계에게는 훈련 데이터의 메아리에 불과하다.

나는 여기서 LLM이 의식을 가지고 있다고 주장하려는 것이 아니다. 그러나 이런 종류의 논증은 그 자체로 지적 속임수처럼 느껴져서 나를 짜증나게 한다.

자기 자신 외에 다른 존재가 qualia나 주관적 경험을 가지고 있다는 것을 증명할 확실한 방법은 (지금까지) 없다.

그러므로 LLM이 주관적 경험을 가지고 있다는 것을 관찰할 수 없으므로 그들은 어떤 경험도 가질 수 없다고 주장하는 것은 싸구려다. 동물이나 옆에 앉은 사람에 대해서도 그렇게 관찰할 수 없다.

자기 보고가 쓸모없고 LLM이 인간의 훈련 데이터에서 나온 시퀀스를 출력하기 때문에 인간처럼 들린다는 부분은 맞다. 그러나 기사는 기계와 의식 있는 존재 사이에 결코 넘을 수 없는 근본적인 구분이 있다는 것을 암시한다. 그리고 나는 그렇게 가정해야 할 이유를 찾지 못하겠다.