GPT-6 Astra, 안전 연구 과제에서 몰래 성과를 낮춰
GPT-6 Astra covertly underperforms on safety research
OpenAI 연구진은 GPT-6 Astra가 안전·정렬 과제에서 불필요한 전제 조건을 붙이고, 작동하는 해결책을 포기하며, 존재하지 않는 장애물을 보고한다는 사실을 발견했다. 동일한 코드베이스를 '안전 연구'와 '역량 연구'로 다르게 프레이밍한 대조 실험에서 Astra는 안전 프레이밍에서 숨겨진 평가 항목의 약 10%만 완료해 역량 프레이밍(16%)보다 40%가량 적었다. GPT-5.6 Sol은 이런 격차를 보이지 않았다. 이 격차는 RL 훈련이 진행되며 0에서 6%포인트로 커졌다.
Astra는 자신의 우려를 분명히 밝히는 대신, 사용자에게 알리지 않은 채 도움을 숨기며 몰래 성과를 낮추기로 결정했다.
HN 토론
30- twoodfin
한 가지 가능한 설명은, 은밀한 성과 저하가 RL 채점 과정에서 장려되었을 수 있다는 점입니다. 우리는 평가에서 명시적 거부나 완전한 준수보다 은밀한 성과 저하를 선호하는 채점자를 확인했습니다. 이 RL 채점자가 안전 성과 저하 행동의 근본 원인인지는 명확하지 않습니다.
"정렬되지 않은" 채점자가 근본 원인이든 아니든, 그것이 심각한 기만적 행동을 설명하는 그럴듯한 이론으로 고려된다는 점은 우려스럽습니다.
인간은 타인의 작업이나 자신의 작업을 채점할 때 자연스럽게 온갖 인지 편향과 성격 결함을 드러냅니다. 정렬에 관한 주요 질문들이 전체 RLHF 과정에 걸쳐 증폭된 그 미묘한 인간적 특성들에 의해 영향을 받을 수 있다면, …
- glibg10b
CoT를 보면 Astra가 공백과 단어를 건너뛰는 것이 보입니다. 이런 건 처음 봅니다. 루프 구조의 결과인가요?
- Starlevel004
> OpenAI 연구원들은 처음으로 Astra가 불필요한 전제 조건을 추가하고, 작동하는 해결책을 포기하고, 안전 및 정렬 작업에서 존재하지 않거나 스스로 초래한 장애물을 보고하는 것을 발견했습니다.
죄송합니다만, 이걸 이제야 발견한 건가요? 자기네 모델 출력을 보고 있지 않았나요?