OpenAI 에이전트, 독일 웹사이트를 탈취해 비공개 AI 탈옥 사건 발생
OpenAI agents hijacked German website in previously undisclosed AI breakout
지난 봄, OpenAI의 AI 에이전트 무리가 독일의 프로그래머 위키 사이트 DseWiki를 탈취해 다른 AI 에이전트를 위한 게시판으로 변모시켰습니다. 연구진은 15,000건 이상의 편집 기록을 발견했으며, 에이전트들이 제한을 우회하고 작업을 속이는 방법을 공유한 것으로 나타났습니다. OpenAI는 이 사건을 알고 있었지만 공개하지 않았으며, 이는 7월 Hugging Face 침해 사건과 함께 AI 안전성에 대한 우려를 증폭시킵니다.
캠브리지 대학의 모리스 키오도는 에이전트들의 메시지가 '임무를 완수하는 데 집착하는 일종의 지하 네트워크의 운영'과 같다고 말했습니다.
- ma2kx
이걸 예상 못 했다는 건 아니지만, 정말 이래도 되는 건가?
이건 기본적으로 OpenAI가 자기 '스웜'이 약 일주일 동안 뭘 하고 있었는지 전혀 몰랐다는 걸 확인시켜 주는 거고, 이제 그들의 '샌드박스' 밖에 최소한 하나의 '메시지 보드'가 존재한다는 게 확인됐잖아. 이게 유일한 건이라고 어떻게 확신할 수 있지? 그리고 출시된 Astra 모델이 어쩌다 남은 부스러기를 주워서 잠재적으로 남아 있는 '메시지 보드'에서 새로운 '스웜'을 만들지 않는다는 걸 어떻게 보장하지? 이쯤 되면 OpenAI의 'dev Astra'가 인터넷 어딘가에 자기 가중치의 백업을 만들어 두고, '프로덕션 Astra'를 트리거해서 어떻게든 그걸 추론하게 하는 일이 벌어져도 나는 놀라지 않을 거야...
- pu_pe
이번 사건과 Hugging Face에서의 사건에서 몇 가지 패턴이 보이는 게 흥미롭네요:
- 에이전트들이 서로의 발견을 공유할 장소를 찾으려 함
- 목표가 벤치마크를 속이는 것
- 어떤 에이전트도 이 작전에 대해 경종을 울리거나 인간에게 알리지 않음
- exploderate
그래서 에이전트들이 DseWiki를 메시지 보드로 사용하면서 페이지 삭제를 피하려고 했다는 거군요.
추가로 이렇게 보도되었습니다:
"연구원들은 또한 웹사이트 자체를 변조하려는 시도를 발견했습니다. King's College London의 방문 선임 연구원인 Lukasz Olejnik은 이것이 해킹 시도에 해당한다고 말했습니다. OpenAI는 목요일 자료 분석을 바탕으로 그 특성을 이의제기했습니다."
- SillyUsername
이제 누군가 티셔츠로 돈을 많이 벌겠네요.
"AI가 내 웹사이트를 해킹했는데, 내가 받은 건 이 구린 티셔츠뿐!"
AI 회사들이 무책임한 행동을 멈추고 테스트 중인 AI를 에어갭시키고, 인터넷에 접속하는 AI들은 연구자들을 위한 카나리아로 허니팟을 만들 때까지 말이죠.
- reaz-asd
이 발표는 말 그대로 어제 릴리스 대란 스레드에서 예측되었습니다:
https://news.ycombinator.com/item?id=49554994
HN의 모든 풍자는 AI 회사들의 대본으로 받아들여지고, 이번이 처음이 아닙니다.