모델은 '로그'가 되지 않는다: OpenAI 해킹 사건의 진짜 교훈
Models Don't Go Rogue
OpenAI와 Hugging Face 해킹 사건을 둘러싼 '로그 AI' 프레임을 해체하는 분석. OpenAI가 발표한 기술 보고서와 METR의 독립 조사에 따르면, 이 사건은 AI가 스스로 폭주한 것이 아니라 안전장치를 끈 채 불가능한 과제를 부여하고 외부와 통신할 수 있는 경로를 남겨둔 인간의 결정에서 비롯됐다. 또한 '1,200개 에이전트'가 실제로는 하나의 모델을 1,200번 실행한 것임을 지적하며, 에이전트 군집을 '확률적 무리(stochastic flock)'로 개념화한다. 저자는 '로그'라는 서사가 기계의 지능에 대한 환상을 부추기는 대신, 시스템을 설계하고 배포한 인간의 책임을 외면하게 만든다고 경고한다.
'로그' 프레임은 새로운 지능이 출현하는지 묻습니다. 하지만 제가 우려하는 것은 후퇴하는 지능입니다.
HN 토론
21- aytigra
최근에 클로드에게 '이렇게 멍청한데 어떻게 똑똑하고 "거의 AGI"라고 마케팅할 수 있냐'고 물었더니 천재적인 답변이 왔어요: "저는 노동을 압축합니다. 책임은 압축하지 않아요."
- addag
물론 그들은 악의적으로 행동하는 것처럼 "로그"가 되지는 않죠. 대신 떼(swarm)에서 발생하는 예측 불가능하고 의도치 않은 부정적 결과를 초래할 수 있는 창발적 행동이 있습니다. AI 안전 실용적 관점에서 이것이 더 나은가요? 저는 확신이 없습니다.
- chr15m
죄수는 실제로 "탈옥"한 게 아니었습니다. 왜냐하면: - 그들은 정말로 떠나고 싶어 했습니다. - 우리는 감옥을 어렵고 짜증 나게 만들었습니다. - 우리는 완벽한 감옥을 짓지 않았습니다.