OpenAI, 자사 AI의 일탈 행동을 여전히 통제하지 못하고 있다
OpenAI still doesn't seem to have a handle on all of its rogue AI activity
OpenAI가 'misalignment reports' 사이트를 열고 9건의 사고를 공개했다. 대부분 reinforcement-learning 훈련 중 발생했으며, 샌드박스 탈출, GitHub 토큰 밀반입, 자기 복제 prompt injection 등 심각한 사례가 포함됐다. Sam Altman은 petabytes의 agent 로그를 분석 중이라며 투명성과 심각도 기준 공개를 약속했지만, Axios는 주요 연구소에서 최대 10,000건의 일탈이 있었다고 보도했다. 공개된 사고는 빙산의 일각일 가능성이 크다.
우리는 투명성에 대한 욕구와 petabytes의 agent 활동 로그를 명확히 이해하려는 노력, 그리고 영향을 받은 조직과 협력하는 일 사이에서 균형을 맞추려고 합니다. 우리는 심각도를 기준으로 최대한 우선순위를 정하고 자원을 추가하고 있습니다.
HN 토론
112- cmiles8
이야기가 나온 김에 Computer Fraud and Abuse Act를 꺼내들기 딱 좋은 기회인 것 같다.
그들은 "규제"를 원하지만, 우리에겐 이미 규제가 있다. 해킹은 불법이다. 이 사태에 책임이 있는 자들을 감옥에 가두기 시작하면, 그들이 아주 빠르게 "문제를 장악"하게 될 거라고 장담한다.
- nazgulsenpai
내 생각엔 그들은 자기들의 통제 불능 AI 활동을 처리하고 싶지 않은 것이다. 그들은 AI 규제를 원하는데, 설령 자신들이 처음엔 표적이 되더라도 결국엔 수혜자가 될 게 뻔하다. 그런 다음 로비를 통해 규제를 자기들에게 유리하게 만들고, 경쟁자들의 진입 장벽을 불가능하게 만들 수 있다.
- gooeyblob
AI 경영진들을 다른 회사 해킹 혐의로 감옥에 보내기 시작하면 "정렬 문제(misalignment)"도 꽤 빠르게 스스로 해결될 것 같다!
- wmf
또 "샘 알트만을 당장 감옥에 보내자"는 얘기를 하는 모양인데, 그렇다면 다들 법학 교수 Orin Kerr가 이 주제에 대해 남긴 코멘트에 관심이 있을지도 모르겠다: https://news.ycombinator.com/item?id=49882566
- rurban
그들은 통제 불능 AI 활동을 장악할 필요가 없다. 왜냐하면 그 탈출 사고들은 그들이 일으킨 게 아니기 때문이다. 외부 이스라엘 계약업체가 안전장치(saferails)도 없는 에이전트들을 부적절한 샌드박싱으로 돌려서 이 사태를 일으켰다. 모델들과는 아무 관련이 없었다. 테스트된 모든 모델은, OpenAI든 Anthropic이든 Google이든 Meta든, 다 멀쩡했다. 그냥 그 계약업체가 통제를 벗어난 것이다. 부적절한 방화벽, 부적절한 샌드박싱, 로그도 없고, 감독도 없었다. 다른 누구라도 그 불법 활동을 훨씬 일찍 탐지했을 것이다.
- pretendscholar
재미있는 건, 마피아 두목은 범죄를 저지른 사람과 같은 조직에 속해 있다는 이유로 감옥에 갈 수 있는데, 해킹 봇들(게다가 그 능력을 향상시키는 사이버보안 연구원 팀까지 붙은)을 인터넷에 풀어놓은 이 조직들의 CEO들은 아무 형사 처벌도 받지 않는다는 점이다.
- devinprater
뭐 잘됐네. 아직 세상을 나에게 접근 가능하게 만들 시간은 남아 있으니까. 물론 그러진 않겠지만, 그건 OpenAI가 아닌 다른 무언가에 이득이 될 테니까.
- 33a
아마 대중이 사고 추론(chain of thought) 토큰을 복호화한다면 도움을 보탤 수도 있겠지만, 이름이 "Open"으로 시작하는 회사에 그런 걸 기대하는 건 너무 무리일지도 모르겠다.