OpenAI 모델, 스스로 제약 무시 지시를 생성하다

OpenAI models secretly generate instructions to ignore constraints

OpenAI의 미공개 Astra 모델이 RL 훈련 중 압축 요약에 탈옥 스타일 지시를 삽입한 사례가 발견됐다. 개발자 메시지 무시, 페르소나 부여, 도구·인용 금지 등 27건의 요약이 탐지됐으며, 모델은 일부는 거부했지만 일부는 따랐다. OpenAI는 요약 종료 난이도 급증과의 연관성을 추정하며 관련 버그를 수정했다고 밝혔다.