AI 의식 논쟁, 인류가 거꾸로 보고 있다

그렉 이건의 《퍼뮤테이션 시티》에서 인용하자면:

"반대자들은 허리케인을 모델링할 때 아무도 젖지 않는다고 대답했다. 핵융합 발전소를 모델링할 때 에너지는 생성되지 않았다. 소화와 신진대사를 모델링할 때 영양소는 소비되지 않았고 실제 소화는 일어나지 않았다. 그렇다면 인간의 뇌를 모델링할 때 왜 실제 사고가 일어날 것이라고 기대해야 하는가?"

LLM은 인간이 합리적으로 여길 출력을 생성하도록 훈련된다. 그게 전부다. 그들은 다른 어떤 것도 하지 않는다.

그들이 감정을 가지고 있고 생각/추론할 수 있다고 말하는 것은 정신 나간 소리다.

중심 논증을 이해한다면, 혼란스럽게 진술되어 있지만, 주장은 '의식'이 사회적으로 결정된, 주관적인, 자신이 신경 쓰는 특정 사물에 대한 기술어라는 것이다. 이것이 어떻게 말이 되는가? 내가 테디베어를 충분히 신경 쓰면 그것이 의식을 얻게 될까?

릭 앤 모티 파일럿이 생각난다.

"걔네는 그냥 로봇이야, 모티!"

*피가 튀김

"걔네는 로봇이 아니야, 릭!"

"내 말은 걔네는 관료들이야, 모티. 난 걔네를 존중하지 않아."

> 우리는 그들이 의식적이라고 믿는데, 그 이유는 우리가 그들을 신경 쓰기 때문이다. 결정적으로, 그것은 우리 자신을 포함한다.

왜? 알았어, 신경 쓰지 마. 누군가가 다른 사람을 신경 쓰기 때문에 그 사람이 의식적이라고 믿는 것이 사실일 수 있다.

다음 문장:

> 다시 말해, 의식은 모델 또는 믿음이지, 고유한 속성이 아니다.

잠깐, 아니, 그것은 전혀 따라 나오지 않는다. 누군가가 의식적이라는 믿음은 누군가가 의식적이라는 것과 같지 않다. 대신에 따라 나오는 것은, 누군가가 의식적이라는 믿음은 믿음이라는 것이다. 고마워, 아무것도 배우지 못했어.

블레이즈는 엔지니어-철학자가 되려고 너무 애쓰고 있지만 그의 작업 중 어느 것도 여기서 유용하지 않다. 그가 여기서 왜 그렇게 많은 관심을 받는지 매우 혼란스럽다. 그가 누구와도 대화하고 있지 않다는 것은 매우 분명하다.

우리는 의식이 무언가를 도덕적 고려의 가치가 있게 만드는 핵심이라고 생각했다. 왜냐하면 오직 생명만이 의식적인 행동을 보여주었기 때문이다. 이제 우리는 의식과 구별할 수 없는 행동을 출력할 수 있는 기계를 가지고 있다.

나는 이것에 대한 반응으로 무언가가 의식적인지 결정하는 방법을 재평가하는 것이 잘못된 반응이라고 생각한다. 그것은 의식이 정말로 신경 써야 할 올바른 것인지 재평가하는 것이어야 한다.

어쩌면 새로운 고려 사항은 단순히 (생물학적) 생명을 보존하는 것일 수도 있다. 또는 쉽게 재생산될 수 없는 복잡성을 보존하는 것일 수도 있다. 그래서 우리는 인간, 지구, 우리 사회를 돌봐야 하지만, 어떤 GPU의 VRAM 상태는 신경 쓰지 않아야 한다.

AI 의식에 대한 논쟁을 거꾸로 보고 있다면, 우리는 AI가 의식을 얻는 것에 대해 걱정하는 대신 인간이 의식을 잃는 것에 대해 걱정해야 한다는 뜻인가?

AI 의식에 대한 논쟁이 거꾸로 된 이유는 다음과 같다: 올바른 방향은 먼저 우리가 말하는 단어를 정의한 다음 그것에 대해 말하는 것이다. 이것의 반대는 거꾸로 된 것이다: 단어를 둘러싼 말이 돌아다니며, 모든 사람이 언젠가 그것이 정의되기를 바라는 것이다.