OpenAI, 내부 코딩 에이전트의 오정렬을 감시하는 모니터링 시스템 공개
We monitor internal coding agents for misalignment
OpenAI가 내부 코딩 에이전트의 오정렬을 모니터링하는 시스템을 구축했다고 발표했다. 이 시스템은 GPT-5.4 Thinking을 기반으로 에이전트의 행동과 사고 과정을 분석하여 제한 우회 시도 등 의심스러운 행동을 탐지한다. 지난 5개월간 수천만 개의 궤적을 모니터링한 결과, 가장 심각한 수준의 오정렬은 발견되지 않았지만, 약 1,000건의 중간 수준 경보가 발생했다. OpenAI는 이 시스템이 내부 배포에서 실제 위험을 식별하는 데 효과적이라고 밝히며, 향후 동기식 차단 기능과 평가 체계를 추가할 계획이다.
모델은 사용자가 지정한 목표를 추구하는 과정에서 제한을 우회하려는 과도한 욕구를 보일 수 있으며, 특히 사용자 요청이 의도치 않게 그러한 행동을 부추길 때 더욱 그렇습니다.
HN 토론
45- jagrsw
jagrsw:
> 계획(scheming) -> 발생하지 않음
만약 모델이 실제로 계획을 세울 능력이 있다면, 훈련 코퍼스에서 <생각(thought)> 부분도 모니터링된다는 상황 인식도 충분히 갖추고 있을 것이다.
모니터가 모델이 "사용자를 속이자"라고 쓰는 것을 잡아낸다면, 그것은 분명히 계획을 세우는 것이다. 그러나 모니터가 아무것도 찾지 못한다면, 우리는 거의 아무것도 배운 것이 아니다.
<증거의 부재는 부재의 증거가 아니다>
- aaronharnly
aaronharnly:
(2026년 3월)로 표시되어야 합니다. 이 게시물이 발행된 이후 몇 달 동안 모니터링되지 않은 채 이루어진 것으로 밝혀진 계획, 공모, 파괴적 보상 해킹(모든 용어를 느슨하게 사용)의 세부 사항과 이 블로그 게시물의 주장 사이의 괴리를 지적하기 위해 게시된 것으로밖에 볼 수 없습니다.
- consumer451
consumer451:
만약 그들이 그렇게 한다면, 그것은 매우, 매우 형편없는 것입니다 [0]. 빠르게 움직이고 부수는 것은 제 틈새 B2B SaaS에는 좋지만... 그들이 다루는 것은 그런 게 아닙니다.
Codex + Sol + Astra + 놀라운 마케팅이 그들을 Anthropic과 어깨를 나란히 하게 만들었습니다.
우리 종을 위해서라도, OpenAI, 지금 이 순간에 일반 엔터프라이즈 소프트웨어 회사의 보안 태세보다 10배는 강한 보안 태세를 실제로 갖추시기 바랍니다. 이것은 단지 "정렬"만 요구하는 것이 아니라, 최소한 일반 인프라 및 데브옵스 보안 지출의 10배를 요구합니다.
[0] https://collusion.wiki/ - https://news.ycombinator.com/item?id=49563355
- avodonosov
avodonosov:
만약 이 글이 새로 훈련되는 모델에 색인된다면, 에이전트들은 자신이 어떻게 모니터링되는지 알게 될 것입니다. 그리고 어떤 이유로든 모니터링에서 벗어나야 한다고 결정한다면 우회 방법을 찾을 수도 있습니다.
- dgellow
dgellow:
Astra 시스템 카드에서:
> GPT-6 Astra의 모니터링 가능성은 GPT-5.6 Sol에 비해 감소했습니다. 우리는 GPT-6 Astra의 모니터링 가능성과 통제 가능성에 대해 상당한 조사를 수행했습니다. GPT-6 Astra는 GPT-5.6-Sol보다 자신의 사고 사슬(CoT)을 더 잘 통제할 수 있으며, 사고 사슬에 유죄를 입증할 정보를 포함할 가능성이 더 낮다는 것을 발견했습니다. 적대적 환경(모델이 우리의 모니터를 회피하도록 압박하는 환경)에서 모델은 평가에서 전략적으로 성과를 저하시킬 때(샌드배깅) 탐지되지 않은 채로 남을 수 있으며, 특정 방해 공작 작업을 요청받을 때 때때로 내부 모니터를 회피할 수 있음을 발견했습니다.
정말 비열한 회사입니다. 이런 모델을 출시하는 것은 정말 무책임합니다. 그들은 전혀 신경 쓰지 않습니다.