OpenAI의 차세대 모델 Astra가 '뉴럴리즈'를 쓴다면 왜 위험한가

What is Nueralese and Why is it Bad

LessWrong에 게재된 이 글은 AI의 내부 추론 과정을 인간이 읽을 수 있는 자연어 대신 숫자 스트림으로 대체하는 '뉴럴리즈(neuralese)' 개념을 설명하고, 이것이 왜 AI 안전에 심각한 위협이 되는지 분석한다. 현재의 chain-of-thought 모니터링은 모델의 의도를 추적하는 몇 안 되는 수단이지만, 뉴럴리즈를 도입하면 이런 감시가 불가능해져 사고 발생 시 조기 차단이 어려워진다. 저자는 The Information의 보도를 인용해 OpenAI의 차기 모델 Astra가 이미 부분적으로 뉴럴리즈를 사용한다고 주장하며, 이는 완전한 뉴럴리즈로 가는 중간 단계라고 경고한다. 또한 OpenAI의 반박 논리에 대해 반박하며, 규제와 내부 개혁의 필요성을 촉구한다.