OpenAI의 차세대 모델 Astra가 '뉴럴리즈'를 쓴다면 왜 위험한가
What is Nueralese and Why is it Bad
LessWrong에 게재된 이 글은 AI의 내부 추론 과정을 인간이 읽을 수 있는 자연어 대신 숫자 스트림으로 대체하는 '뉴럴리즈(neuralese)' 개념을 설명하고, 이것이 왜 AI 안전에 심각한 위협이 되는지 분석한다. 현재의 chain-of-thought 모니터링은 모델의 의도를 추적하는 몇 안 되는 수단이지만, 뉴럴리즈를 도입하면 이런 감시가 불가능해져 사고 발생 시 조기 차단이 어려워진다. 저자는 The Information의 보도를 인용해 OpenAI의 차기 모델 Astra가 이미 부분적으로 뉴럴리즈를 사용한다고 주장하며, 이는 완전한 뉴럴리즈로 가는 중간 단계라고 경고한다. 또한 OpenAI의 반박 논리에 대해 반박하며, 규제와 내부 개혁의 필요성을 촉구한다.
체인-오브-소트 모니터링은 완벽하지 않지만, 가시적 출력 너머의 의도를 추적할 수 있는 몇 안 되는 도구 중 하나입니다. 이 도구를 잃게 되면, 특히 AI 시스템이 점점 더 일반 지능을 갖추고 강력해질수록, 우리가 이 시스템을 추적하고 통제하는 것이 훨씬 더 어려워질 것입니다.
HN 토론
59- _alternator_
주장은 토큰 없는 사고 사슬(chain-of-thought)이 해석 가능성과 모델 의도 제어의 주요 창구를 제거할 것이라는 것입니다. 이는 OpenAI가 허깅페이스 공격에 대해 발표한 보고서에서 분명히 드러납니다. 그들은 해당 작업에 대해 CoT 모니터링을 꺼 두었고, 모니터링했다면 그 행동을 막을 수 있었을 것이라고(또는 막았을 것이라고?) 주장합니다. 그들은 내부 정책을 변경하여 항상 CoT를 모니터링하고 있습니다. 그렇긴 하지만... CoT 모니터링은 취약한 '의도 발견' 메커니즘입니다. 뉴럴리즈는 이 문제를 전면에 내세우지만, 에이전트가 CoT 일지에서 의도를 숨기는 법을 배우기 시작한다면 우리는 기본적으로 같은 상황에 처하게 됩니다.
- yellow_lead
모델이 뉴럴리즈를 이해할 수 있다면 모니터링이나 검토 목적으로 왜 영어로 변환하지 못할까요? 아니면 모델이 '이 정보를 공개하지 마라'와 같은 비밀 메시지를 뉴럴리즈에 인코딩할 것이라고 믿는 것일까요. 하지만 저자가 언급했듯이, 그들은 처음부터 그렇게 해 왔을 수도 있습니다.
> 모델은 가시적인 생각에서 핵심 정보를 생략할 수 있습니다. 이는 Anthropic의 2025년 논문에서 보여줍니다. 우리는 또한 스테가노그래피에 대해 우려하고 있습니다.
- bauble
이것은 내가 깊은 생각에 잠겨 있을 때 누군가가 "무슨 생각해?"라고 말하는 것과 비슷합니다. 그러면 나는 언어의 세계로 다시 끌려 나오고, 긴 생각의 흐름을 영어로 번역하는 힘든 작업을 시작하게 됩니다. 그런데 상대방은 이를 저항이나 생각을 숨기려는 시도로 해석합니다. 어떤 사람들에게는 언어를 사용하지 않고 생각하는 것이 생소한 개념입니다.
- macleginn
순환 깊이(Recurrent depth)와 사고 사슬(chain-of-thought)은 완전히 다른 개념입니다. 전자의 접근 방식에서는 레이어의 출력이 동일한 레이어의 입력으로 다시 라우팅되며, 잠재적으로 여러 번 반복됩니다. 이 출력/입력은 고정된 너비 곱하기 시퀀스 길이의 실수 값 표현입니다. 출력 토큰과 비교할 수 없습니다.
일반적으로 모델이 자연어 문서로 사전 학습된다는 점을 고려할 때 뉴럴리즈가 어떻게 작동해야 하는지 상상하기 어렵습니다. CoT는 그에 비해 비교적 간단한 확장이지만, 뉴럴리즈는 완전히 새로운 훈련 패러다임을 요구합니다.
- everybodyknows
제목에 오타가 있습니다. 'ue'가 'eu'로 잘못 쓰였네요. 신조어에서 약간의 성가심이 있습니다.