AI가 쏟아내는 코드가 시스템을 삼키는 '결맞음 붕괴'의 함정

The Decoherence Trap

이 에세이는 '결맞음 붕괴(decoherence)'라는 개념을 제시한다. 각각은 국소적으로 타당하지만 서로 호환되지 않거나 중복되는 모델이 시스템 안에 쌓여, 변경 비용이 모델 간 번역과 예기치 않은 부작용 방지에 압도되는 상태다. 시스템의 변화 속도에 비례해 커지고, 이미 결맞음이 깨진 시스템일수록 더 빨리 커져 폭주한다. 저자는 AI의 광범위한 사용이 이를 감당할 수 없는 속도로 양산한다고 본다. 다행히 이는 재귀적 자기 개선의 폭주 가능성을 배제하지만, 다른 재앙인 '결맞음 붕괴'로 치닫고 있다고 경고한다.