OpenAI, 외부 평가기관에 내부 모델·소스코드까지 개방한다

First phase of embedded assessments at OpenAI

OpenAI가 Apollo Research, METR, Transluce, Goodfire와 함께 '임베디드 평가' 1단계를 시작한다. 평가기관은 모델 체크포인트, 소스코드, 학습·평가 데이터, 모니터링 시스템에 접근하고 OpenAI 사무실에서 상주하며 독립적으로 조사한다. 초점은 학습·내부 사용 단계의 정렬과 안전장치이며, 결과는 공개 보고서로 나온다. 안전·보안위원회가 감독하고, 이해충돌 공개와 유예 기간, 책임 있는 공개 지연 규칙도 함께 마련했다.

임베디드 평가는 독립 전문가에게 연구소의 내부 모델과 시스템에 대한 깊은 접근 권한을 부여하여, 장기간에 걸쳐 모델 정렬과 안전장치의 효과성을 평가할 수 있게 한다.
  1. vessenes

    우리는 Anthropic이 앞으로 나아가고 oAI는 안전상의 이유로 속도를 늦추는, 의외의 서사 속에 있습니다. 여기서 누가 더 나은 mechinterp를 갖고 있는지, 그것이 실제로 alignment에 도움이 되었는지, 그리고 현금과 IPO를 둘러싼 내부의 고동이 어떤지를 고려하면 꽤 흥미로운 가능성의 매트릭스가 펼쳐집니다.

    당신의 안전 문제가 존재론적이라고 생각한다면, 반드시 멈추고 이 모든 것을 해야 합니다. 그리고 다른 누군가의 안전 문제가 그들을 갑작스럽게, 경고도 없이 죽일 수도 있다고 생각한다면, 그때는 속도를 늦추고 이 일을 제대로 할 시간이 있는 겁니다.

    외부인의 관점만 놓고 본다면, 지금 당장 내가 책임자로 선택할 회사는 Anthropic일 것 같습니다. 하지만 IPO 시점에 빠른 추격자(fast follower)가 되는 것이 안도감을 준다는 데에는 많은 이유가 있다는 것도 알겠습니다. 어쨌든, 앞으로 몇 달 안에 지금 실제로 무슨 일이 벌어지고 있는지에 대한 브리핑이 나오길 기대하고, 다음 oAI 모델의 품질이 어떤지도 보고 싶습니다. 그 사이에 어느 한쪽 그룹이 확실히 앞서 나가는 모습을 볼 수도 있겠죠. 그리고 그것이 oAI일 수도 있습니다.

  2. mentalgear

    그냥 'on-site'라는 이름을 쓰면 안 될까요: 훨씬 명확하고 군대에서 유래한 'embedded'라는 용어의 부담도 없습니다.

  3. petesergeant

    사람들이 이걸 트집 잡을 거라고 확신하지만, 저는 이걸 부정적으로 보기가 어렵네요.

이 날의 다른 글

2026-11-16