OpenAI, '외계인의 마음'에서 경고: AI가 인간을 추월하는 속도에 아무도 대비하지 못하고 있다

An Alien Mind

OpenAI의 CEO가 'RLSlow' 프로젝트에서 처음으로 추론 모델의 확장 가능성을 확인한 2023년의 어느 밤을 회상하며, 이후 3년간의 급속한 발전과 그에 따른 위험을 경고한다. 그는 AI가 단순히 설계된 것이 아니라 '성장'하는 것이며, 그 내부 작동을 완전히 이해하지 못한다고 말한다. 정렬(alignment)의 두 축인 목표 정렬과 가치 정렬을 구분하고, 현재 기술의 한계와 모니터링의 중요성을 강조한다. 특히 체인오브소트(CoT) 모니터링의 효용이 감소하고 있음을 인정하며, 방어적 시스템 구축의 필요성을 역설한다. 그는 AI 개발이 계속된다면 수년 내에 자체 개선을 추진하는 수준에 도달할 것으로 예상하며, 이에 대한 극도의 경계심을 촉구한다.