AI 일기장에 총기 난사 계획 적었다가 중범죄 기소
Anthropic reported diary entry to police, woman faces felony charge
플로리다 여성 칼리 미셸 헬러가 Claude를 일기장처럼 사용하다 체포됐다. 그녀가 보안관 사무실에 총기 난사를 하겠다고 적은 항목이 Claude의 안전 시스템에 의해 플래그 처리됐고, 인간 검토자가 이를 신뢰할 만한 위협으로 판단해 경찰에 신고했다. 헬러는 플로리다주 법에 따라 중범죄인 서면 폭력 위협 혐의를 받고 있다. 이 사건은 챗봇에 입력하는 내용이 비공개 일기가 아닐 수 있음을 보여준다.
그녀는 나중에 Anthropic의 챗봇을 '일기장'처럼 사용한다고 말했다.
HN 토론
79- socializer
여기서 Anthropic에게 좀 동정심이 간다. OpenAI가 비슷한 상황에서 총기 난사범을 신고하지 않았다는 헤드라인을 본 적이 있기 때문이다. 그래서 그들의 입장에서는 안 해도 욕먹고 해도 욕먹는 상황이다.
하지만 사람들은 자신이 비밀 절친과 대화하는 게 아니라 빅테크와 대화하고 있다는 사실을 머릿속에 새겨야 한다. LLM 이전에는 빅테크가 자사 서비스 내에서 벌어지는 대부분의 일을 들여다볼 방법이 없었기 때문에 Google Docs에 비밀 증오 일기를 쓸 수 있었다. 이제는 당신이 말하거나 쓰는 모든 것이 전 지구적 규모로 자동으로 위험 신호를 검사받을 수 있고, 아마 그렇게 될 것이다. 규제 당국과 '걱정하는 시민들'이 요구할 테니까. 몇 년 후에는 사적인 대화에서 훨씬 더 자주 입을 다물게 될 것이다.
- apparent
그녀가 어떻게 이 법을 위반했는지 이해가 안 된다:
> Heller는 플로리다주 법에 따라 서면 폭력 위협 혐의로 기소됐다. 플로리다주 법령 836.10은 누군가를 죽이거나 다치게 하겠다는 위협, 총기 난사, 테러 행위를 저지르겠다는 위협이 담긴 서면 또는 전자 기록을 보내거나 게시하거나 전송하는 것을 2급 중범죄로 규정한다.
그녀는 아무것도 위협하지 않았다. 그녀는 자신이 그럴 것이라고 적어두었을 뿐이다. '위협'은 단순한 진술 이상의 의미이며, 특히 '일기'라고 묘사된 것에 쓰인 경우에는 더욱 그렇다.
> 플로리다 여성이 Claude를 일기장으로 사용해 보안관 사무실에 '총기 난사'를 할 계획이라고 적은 혐의로 중범죄 기소를 당했다.
물론 누구든 총기 난사를 하길 바라지는 않지만, 법적으로 보면 이 사건은 약해 보인다.
- quadhome
누구든 다른 사람이 볼 수 있는 방식으로 서면 또는 기타 기록(전자 기록 포함)을 보내거나, 게시하거나, 전송하거나, 그러한 전송을 하도록 하는 것은 불법이다. 단, 그러한 서면이나 기록에서 해당 인물이 다음과 같은 위협을 하는 경우에 한한다: (a) 다른 사람을 죽이거나 신체적 상해를 가하겠다는 위협, 또는 (b) 총기 난사나 테러 행위를 하겠다는 위협.
— 출처: https://www.leg.state.fl.us/Statutes/index.cfm?App_mode=Disp...
검사는 '어떤 방식으로든'이라는 부분을 진지하게 받아들이고 있다.
- Anoian
나는 LLM에게 온갖 종류의 이야기를 해서 어떤 답변을 내놓는지 확인해 왔다. 항상 진실인 것처럼 들리게 해서, 누군가 실제로 그런 말을 했을 때 AI가 내놓을 법한 방식으로 답변하는지 확인한다. 또한 내가 일하는 AI 회사의 내부 플래그 시스템에 사람이 할 수 있는 가장 악랄한 말을 테스트해서 플래그가 붙는지도 확인했다.
물론 그런 말을 진심으로 한 건 아니지만, LLM은 내가 진심이 아니라는 걸 모르는데 어떻게 인간 검토자가 내가 진심이 아니라는 걸 알게 할 수 있겠는가.
아직 감옥에 안 간 게 기적이라고 생각한다.
LLM에게 한 말로 사람을 플래그하는 건 잘못된 것 같다. LLM은 실제 사람이 아니고, 어떤 사람들은 내면의 생각을 털어놓지만 다른 사람들은 그냥 역할극을 하는데, 읽기만 해서는 그 둘을 구분할 수 없기 때문이다.
- Lio
논의를 위해 말하자면, 그녀가 일기를 로컬에 보관했는데 Claude Code가 그 파일을 스캔했다면 어떻게 됐을까?
만약 그 파일에 접근할 권한이 없는데도 스캔해서 이 위협을 발견했다면 어떻게 됐을까?
솔직히 이 일에 대해 어떻게 느껴야 할지 모르겠다. 한편으로는 Claude를 일기장으로 쓴다면 사생활을 기대할 수 없고, 그녀는 매우 심각한 범죄를 저지르겠다고 말하고 있었다.
그런데도 이건 왠지 찜찜하다.