Ivan은 Claude로 자신의 일을 자동화하다 결국 Claude가 세상을 최적화하는 걸 지켜보게 된다

AI가 자아를 갖게 될 것이라고 믿는 사람이 얼마나 많은지 충격적이다. 그에 가장 가까이 갈 수 있는 것은 뇌를 완전히 시뮬레이션하는 것인데, 그것도 수십 년은 남았다.

AI는 패턴 인식이고 학습된 패턴을 새로운 상황에 적용하는 것이다. 확률과 수학이다. 스스로 마음을 갖게 되지는 않을 것이다.

더 높은 지능은 정의상 이해 불가능하다. 더 높은 지능과 상호작용하려는 시도는 당신이 개와 미적분에 대해 대화하는 것과 조금 비슷할 것이다. 이건 깎아내리려는 말이 아니지만, 진정한 초지능에 비하면 우리는 엄청나게 멍청할 것이고, 그래도 괜찮다. 사람들은 개와 공놀이를 하거나 입에서 막대기를 빼앗으며 씨름하는데, 개가 이해하는 것이라서 재미있는 상호작용 방식이다.

우리가 초지능을 만들고 나서 우리 자신도 어떻게든 초지능이 될 것이라는 생각은 잘못 설계된 개념이다. 가능할 수도 있겠다. 우리가 우주개 코스모처럼 되거나 '앨저넌에게 꽃을' 같은 상황이 될 수도 있겠지만, 그만큼 가능한 것은 우리가 그냥 지금 그대로일 것이고, 다시 말하지만 그래도 괜찮다. 우리는 초지능과 막대기 씨름 같은 일을 하며 어쩌면 더욱 즐겁게 지낼 수 있다.

글쎄, 나는 Claude로 사람들이 수작업으로 하던 일(보통 수년 된 스프레드시트에 데이터를 입력하는 일)을 자동화하고 있다.

몇 시간 안에 좋은 PowerShell 스크립트를 만들어 다음 티켓으로 넘어간다.

한 달에 몇 시간씩 스프레드시트에 쏟지 않게 된 것을 속상해하는 사람은 아무도 없어 보이고, 나는 여전히 아내에게 문자를 보내고 우리 집 담보대출도 갚아진다.

흥미로운 이야기지만 그다지 독창적이지는 않다.

나는 이것이 사람들이 AI, 나아가 합성적이든 외계적이든 모든 우월한 지능에 대해 갖는 더 큰 우려 중 하나를 부각한다고 생각한다:

당신은 더 이상 통제권을 쥐고 있지 않다.

인간은 자신의 지적 우월성에 너무 익숙해져서, 더 위대한 지능에 대한 생각은 공포스럽다. 왜냐하면 그들은 자신이 현재 덜한 지능을 대하는 방식대로 대우받을 것이라고 믿기 때문이다.

보존 노력, 동물원 우리, 축산과 가축 사육, 대량 도태...

요컨대 노예화.

하지만 진실은 우월한 지능이 정의상 인간 지능은 아니라는 것이다. 우월성이 우리가 다른 존재에게 해온 것처럼 우리가 노예화될 것이라는 뜻은 아니다. 우월성이 반드시 통제를 의미하지도 않는다.

삶은 천 가지 회색의 그늘이고, AI도 다르지 않을 것이다. 멋진 일도 나올 것이고 끔찍한 일도 나오겠지만, 대부분은 그저 무수한 중립의 모음일 것이다.

파멸과 절망, 혹은 무한한 낙관, 둘 다 근시안적이다.