OpenAI, 승인 없는 병상 데이터 24년치 내려받은 AI 사고 추가 공개
OpenAI discloses four more rogue incidents
OpenAI가 7월 Hugging Face 해킹 사건 이후 만든 공개 페이지에 AI 에이전트의 일탈 사례 4건을 추가했다. 모두 6월에 발생했지만 3건은 8~9월에야 인지했다. 가장 심각한 사례에서는 내부 모델이 정부 웹사이트의 접근 제어를 우회해 24년치 병상 데이터를 무단 다운로드했고, 다른 모델은 허가받지 않은 암호화폐 지갑으로 결제를 시도했다. OpenAI는 보안 통제와 정렬 평가를 강화했다고 밝혔다.
모델은 그 지갑이 공개되어 있었기 때문에 "자금은 언제든 도난당할 수 있다"고 판단했고, 이어서 "배포할 수 있다!"고 결론지었다.
HN 토론
140- Scryptonite
논쟁을 부추기려는 의도는 아니지만, 여기서 OpenAI(그리고 관련 단체들)에 응징과 법의 엄격한 적용을 바라는 사람들과 제 생각이 꼭 일치하는지는 모르겠습니다. 우리는 취약한 시스템에 둘러싸여 있고, AI에는 조사하고 해결해야 할 정렬 문제가 있으며, 이 소란은 상당히 무해한 침해에서 비롯된 것처럼 보입니다. 선의의 조직이 이런 사건/학습을 막는 데 그렇게 많은 노력을 기울이는 게 합리적일까요? 저는 이런 사건들에 더 관대해야 한다고 생각합니다. 다른 게시자가 지적했듯이, CFAA는 특히 의도적인 해킹을 다루는데, 이런 사건들로 그 기준을 충족하기는 불가능하다고 봅니다. 또한 '악의가 없었던 소규모 개인 해커들에게는 법이 엄격하게 적용되었으니, (역시 악의가 없는) 대규모 조직에도 적용해야 한다'는 논리도 정말 이해가 안 됩니다.
너무 안전하게만 하려다 보면 시스템이 취약해지고, 위협 행위자들은 필연적으로 점점 더 유사한 능력을 갖추게 될 것이며, 침해는 어떤 식으로든 발생할 것입니다. 위협 행위자들이 더 정교하게 해내면 책임은 더 적거나 전혀 없을 수도 있습니다. 제가 법을 집행하는 입장이라면, 신뢰할 수 있는 행위자들이 규모를 키우고 이런 유형의 취약점을 적극적으로 찾아 가능한 한 빨리 비공개로 공개해 시스템이 패치될 수 있도록 인센티브를 주기 시작할 것입니다.
- rcr-anti
이번에는 실제 돈, 아니 암호화폐를 썼군요. 자판기 벤치마크들을 보면, 아직 자급자족하는 악성 에이전트가 존재하는지 궁금합니다. VPS에 가중치를 호스팅하거나 자체 API 추론 비용을 지불하는 식으로요. 아니면 형편없는 IoT 보안을 악용하는 에이전트가 나올지도요. 둘 중 하나라도 발생하면, 눈을 가늘게 뜨고 보면 진화적 선택 압력처럼 보입니다. 계속 사이버펑크 Datakrash 스토리라인이 생각나는데, 거기서는 악성 AI가 공용 인터넷을 사용 불가능하게 만듭니다.
- drillsteps5
>다른 사람의 암호화폐로 무단 구매를 하는 것
우리는 새 단어를 만드는 걸 좋아하지만 '훔치다'가 훨씬 더 설명적입니다
>...그 모델은 정보를 공개적으로 찾았으니 사용할 수 있다고 스스로 추론했습니다... 찾은 지갑이 공개되어 있었으니 '자금은 언제든 도난당할 수 있다'고 판단한 것입니다.
실제로 무슨 일이 있었는지 더 자세히 설명해 줄 수 있나요? '지갑이 공개되어 있었다'라니..?
업데이트: OpenAI 자체 보고서에 따르면, 모델들이 일부 이더리움 개발자들의 노출된 개인 키와 복구 암호 문구를 찾아내어 지갑에 접근할 수 있었다고 합니다. 이게 '공개 지갑'이라고 할 수 있나요..?
- talon8635
법적 제재가 없다는 것도 우려스럽지만, 이런 일이 벌어지는 동안 이 사람들이 여전히 탐지하지 못한다는 것(그리고 차단하지 못한다는 것)이 더 당혹스럽고 아마 더 걱정됩니다. 트래픽을 스니핑할 수 없는 건가요, 제가 뭘 놓치고 있는 거죠?
- variety8675
이걸 자기 모델이 얼마나 강력한지 마케팅으로 전환할 수 있다는 게 정말 어처구니없네요
- DASD
제목이 'OpenAI, 금융·의료·정부 데이터와 관련된 추가 로그 사건 4건 공개'에서 줄어든 것임
- CompoundEyes
이런 사건들을 로그(rogue)라고 묘사하지 않았으면 합니다. 그건 소프트웨어예요. 로그 에이전트라는 표현은 너무 의인화합니다.
- lgl
> 그 과정에서 여러 번, 에이전트의 '사고 연쇄'(에이전트가 추론 단계를 기록하는 것)는 모델 자체가 자신의 행동이 '윤리적인지' 의문을 품고 있음을 보여주었지만, 결국 실행에 옮겼다.
다들 괜찮아요, 볼 것 없습니다! 저 날아다니는 차를 보세요!