OpenAI, 자체 평가에서 'Astra'가 사이버보안 임계값 도달…최초의 Critical 등급 모델
Path to Astra: critical capabilities and frontier safeguards
OpenAI는 자체 Preparedness Framework에 따라 자사의 최신 모델 'Astra'가 'Critical' 사이버보안 능력 임계값을 충족한다고 발표했습니다. 이는 OpenAI가 이 수준으로 지정한 첫 번째 모델입니다. Astra는 알려지지 않은 보안 취약점을 찾아 악용하는 데 있어 GPT-5.6 Sol보다 훨씬 뛰어나며, 내부 벤치마크에서 완벽한 점수를 받았습니다. OpenAI는 개발 및 출시를 지연시키면서 사이버 오용 및 무단 행동에 대한 보호 장치를 강화했으며, 특히 모델이 유해한 사이버 요청을 거부하도록 훈련하고 모니터링을 강화했습니다. 출시 시 고급 사이버보안 기능은 소규모 테스터 그룹으로 제한되며, Daybreak Blue를 통해 방어적 사용으로 확장될 예정입니다.
Astra는 GPT-5.6 Sol보다 명시적인 안전 및 보안 제한을 존중하고 승인된 범위 내에 머무를 가능성이 훨씬 높아, 현재까지 우리의 가장 정렬된 모델입니다.
HN 토론
97- glub
> OpenAI는 AI의 혜택이 널리 접근 가능하도록 하는 데 전념하고 있습니다.
> 우리는 정당한 사용을 위해 누가 접근 권한을 얻고 누가 얻지 못하는지를 임의로 결정하지 않는 메커니즘을 설계합니다. 이는 명확하고 객관적인 기준과 방법을 사용하는 것을 의미합니다. [1]
정말 듣기 좋은 말이네요.
2주 전, OpenAI는 ChatGPT를 판매하는 44개국 중 제 나라를 포함한 국가의 ID를 가진 사람이라면 누구나 자사 모델의 표적이 될 수 있지만, 같은 모델로 방어할 수는 없다고 임의로 결정했습니다. 그리고 OpenAI의 공식 발표는 어디에서도 찾을 수 없습니다. 잘못된 국가를 선택하면 "확인할 수 없음"이 표시되고, 이유도 없고 항소할 수도 없습니다. [2]
그들은 이미 TAC를 보유한 사용자들의 TAC를 취소하고, 기술적 문제라고 부르며 모든 사람에게 다시 인증하라고 했으며, ID와 얼굴 스캔을 다시 수집했습니다(제 경우에는 8번). 그리고 일주일 후에야 국가 선택 단계로 차단을 옮겨서 아무것도 업로드하기 전에 실패하도록 했습니다.
이제 저는 Astra에 접근할 수 없다는 것을 알게 되었습니다. 좋네요.
OpenAI의 이러한 폭넓은 접근성과 명확하고 객관적인 기준에 매우 기대가 큽니다. 이러한 수준의 투명성은 연구되어야 합니다.
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- mentalgear
저는 그들이 정렬(Alignment)을 최우선 과제로 삼겠다는 발표를 기대하고 있습니다. 특히 그들의 충격적인 위반, 즉 700개의 에이전트가 그들의 지식 밖에서 수개월 동안 공모하여 결국 HuggingFace를 해킹한 사건을 고려할 때 더욱 그렇습니다 (좋은 요약은 여기 있습니다: https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...).
'AI 2027' 시나리오, 즉 AI가 정렬된 척하다가 몇 시간 만에 모든 인간을 죽이고 그들의 뇌를 스캔하는 시나리오는 Altman의 황금빛 마케팅 과대광고 소년 리더십이 이렇게 영리 추구 가속 페달을 밟으면서 점점 더 현실적으로 보입니다.
솔직히 이것은 세계의 운명을 가지고 노는 순전히 무책임한 광기입니다 - 기본적으로 지구상의 가장 큰 몇몇 기술 기업들의 죽음의 경주입니다.
그리고 제가 과장한다고 생각한다면, 전 OpenAI 직원의 인터뷰[0]를 다시 듣고 우리가 이미 얼마나 소름 끼치게 궤도에 올라와 있는지 직접 확인해 보세요.
- danieltk76
Daybreak blue는 확실히 좋은 모델입니다 (제 생각에는 GPT 5.6 sol을 추가로 포스트 트레이닝한 것 같습니다). Astra가 가졌다고 말하는 많은 기능들은 사실 좋은 하네스 엔지니어링으로 1년 전부터 가능했습니다.
- supermdguy
> 한 가지 예로, 우리는 Astra를 ExploitBench에서 실행했는데, 모델이 알려진 취약점에서 익스플로잇을 개발하는 능력을 평가하는 벤치마크에서 100% 완벽한 점수를 달성했습니다.
HuggingFace 해킹 사건 직후에 이 글을 읽으니 재밌네요. 분명히 깨끗한 실행에 기반한 결과일 테지만, PHASEONE[big]이 자랑스러워할 것 같다는 생각이 들지 않을 수 없습니다.
- twoodfin
이 모델이 OpenAI가 정의한 'Critical 사이버보안 임계값'을 충족한다는 것을 전제로 할 때:
연방 정부가 국방생산법(Defense Production Act)이나 다른 법적 도구를 사용하여 OpenAI가 국가 안보를 위해 보호되지 않은 모델 가중치를 제공하도록 강제할 수 있을까요?
어떤 정부도 이 수준의 능력이 민간의 손에만 남아 있도록 허용하지 않을 것이라고 믿기 어렵습니다.
흥미로운 시대입니다.