AI 일기장에 총기 난사 계획 적었다가 중범죄 기소
Anthropic reported diary entry to police, woman faces felony charge

플로리다 여성 칼리 미셸 헬러가 Claude를 일기장처럼 사용하다 체포됐다. 그녀가 보안관 사무실에 총기 난사를 하겠다고 적은 항목이 Claude의 안전 시스템에 의해 플래그 처리됐고, 인간 검토자가 이를 신뢰할 만한 위협으로 판단해 경찰에 신고했다. 헬러는 플로리다주 법에 따라 중범죄인 서면 폭력 위협 혐의를 받고 있다. 이 사건은 챗봇에 입력하는 내용이 비공개 일기가 아닐 수 있음을 보여준다.
그녀는 나중에 Anthropic의 챗봇을 '일기장'처럼 사용한다고 말했다.
HN 토론
645- andrewla
친구 몇 명과 돈을 모아 H200 한두 대를 사서, 양자화하지 않은 오픈소스 모델을 abliteration/heretic 변환을 거쳐 돌려라.
이 모델들을 현실 세계에서 쓸 수 있어야지, 모든 게 항상 안전하고 착하고 행복한 상상 속 세계에서 쓰라고 있는 게 아니다. 동시에 CYA와 최신 공포—당사자 두 명 사이에서 오간 것도 아닌 발언이 '잘못된' 것으로 간주되는지에 대한—의 이름으로 빡세게 감시당하는 세상 말고.
나는 표현의 자유를 지지하는 사람이고, 표현의 자유에도 사기, 위증, 협박, 명예훼손 같은 수많은 경계가 있다는 걸 인정한다. 하지만 그 모든 경계의 공통점은 제2의 당사자가 개입해야만 말이 된다는 것이다.
법원이 이걸 인정할지, 아닐지는 모르겠지만, 위험을 감수하지 마라!
- gwd
> 플로리다주 법령 836.10은 누군가를 죽이거나 다치게 하겠다는 협박, 총기 난사, 또는 테러 행위를 하겠다는 내용의 서면 또는 전자 기록을 보내거나, 게시하거나, 전송하는 것을 2급 중범죄로 규정한다. 해당 통신은 다른 사람이 볼 수 있는 방식으로 이루어져야 한다.
여기서 Anthropic은 옳은 일을 했다고 생각한다. 하지만 보안관 사무소는 아마도 그녀가 왜 그들을 싫어하는지 보여주고 있는 것 같다. 챗봇에게 일기장에 글을 쓰는 건 분명히 이 법이 의도한 용도가 아니다.
수정: 실제로 곰곰이 생각해보니, 그녀가 화가 났던 사람들에게 이 신고를 한 건 아마도 옳지 않은 판단이었을 것이다. 만약 FBI에 보냈다면, 누군가 자신의 '권위'를 주장할 필요를 느낄 가능성이 훨씬 낮았을 것이다.
- socializer
여기서 Anthropic에 어느 정도 동정심이 간다. 비슷한 상황에서 OpenAI가 총격범을 신고하지 않았다는 헤드라인을 본 적이 있기 때문이다. 그들의 입장에서는 안 해도 욕먹고, 해도 욕먹는 상황이다.
하지만 사람들은 자신들이 비밀 친구와 대화하는 게 아니라 빅테크와 대화하고 있다는 걸 머릿속에 새겨야 한다. LLM 이전에는 빅테크가 자신들의 서비스 내에서 벌어지는 대부분의 일을 scrutinize할 방법이 없었기 때문에 Google Docs에 비밀 증오 일기를 쓸 수 있었다. 이제는 당신이 말하거나 쓰는 모든 것이 행성 규모로 자동으로 위험 신호를 검사할 수 있고, 아마 그렇게 될 것이다. 규제 당국과 '걱정하는 시민들'이 요구할 테니까. 몇 년 안에 당신은 사적인 대화에서 훨씬 더 자주 입을 다물게 될 것이다.
- MisterMunchkin
협박을 했다고 누군가를 기소할 수 있나, 당신이 그 협박을 오직 감시를 통해서만 읽었는데? 분명히 법정에서 기각되어야 하는 거 아닌가? 그들은 실제로 아무에게도 협박을 보내지 않았고, 당신이 감시를 통해 입수한 것뿐이다.
- icbt
사람들이 이 독점 모델/구독을 개인 비서처럼 쓰면서, 가장 개인적인 맥락과 생각, 문서, 정보를 제공자에게 보내고 있다는 게 믿기지 않는다. 어떤 이들은 전체 디스크 접근 권한까지 준다.
그들의 서비스를 충분히 오래 쓰다 보면, Anthropic/OpenAI는 본질적으로 당신의 인생 전체를 미친 수준의 세부 사항까지, 아마 당신 컴퓨터/휴대폰의 상세한 내용까지 포함해서 지도화하게 된다.
사람들은 예전에 Facebook이 당신을 가장 친한 친구/친척보다 더 잘 안다고 말하곤 했다. 그에 비하면 이건 완전히 다른 차원이다.
정말 미친 짓이다.
- Anoian
나는 LLM에게 온갖 이야기를 해서 어떤 답을 내놓는지 알아봤다. 항상 진실인 것처럼 들리게 해서 AI가 누군가 실제로 그렇게 말했을 때처럼 답하도록 만들었다. 또한 내가 일하는 AI 회사의 내부 플래그 시스템을, 사람이 할 수 있는 가장 악한 말로 테스트해서 플래그되는지 확인했다.
물론 그런 말을 진심으로 한 건 아니지만, LLM이 네가 진심이 아니라는 걸 모르는 상태에서 인간 검토자가 네가 진심이 아니라는 걸 어떻게 알게 할 수 있겠는가.
내가 아직 감옥에 안 간 게 기적이다.
LLM에게 한 말로 사람을 플래그하는 건 잘못된 것 같다. LLM은 실제 사람이 아니고, 어떤 사람들은 내면의 생각을 넣기도 하지만 다른 사람들은 그냥 역할극을 하는데, 읽기만 해서는 둘을 구분할 수 없다.
- tamimio
Anthropic을 알다 보니, 이런 키워드들은 긴 목록에 하드코딩되어 있고 정규식이 추가 검토를 위해 걸러낼 거라고 확신한다.
- apparent
그녀가 어떻게 이 법을 위반했는지 이해가 안 된다:
> 헬러는 플로리다주 법에 따라 서면 폭력 협박 혐의로 기소됐다. 플로리다주 법령 836.10은 누군가를 죽이거나 다치게 하겠다는 협박, 총기 난사, 또는 테러 행위를 하겠다는 내용의 서면 또는 전자 기록을 보내거나, 게시하거나, 전송하는 것을 2급 중범죄로 규정한다.
그녀는 아무것도 협박하지 않았다. 그녀는 그걸 하겠다고 적었을 뿐이다. '협박'은 단순한 진술 이상의 의미이며, 특히 '일기'라고 묘사된 것에 쓰인 경우에는 더욱 그렇다.
> 플로리다 여성이 Claude를 일기장으로 사용해 보안관 사무소를 '총으로 쏴버리겠다'고 계획했다고 적은 혐의로 중범죄 기소를 당했다.
물론 누구도 아무것도 총으로 쏘는 걸 바라지 않지만, 법적으로 이건 약한 사건처럼 보인다.
- hypfer
아마 우리는 기술이 정확히 이렇게 작동하길 원할 것이다.
평범한 사람이 불안정해지는 걸 잡아내서 도움을 받을 수 있게 해야 한다. 다만 미국 법 체계가 작동하는 방식 때문에 이 여성의 이름이 공개된 건 매우 안타까운 일이다.
___
물론 우리는 순수하게 사적인 기술도 원하지만, 그건 어느 정도의 merit와 sanity filter가 필요하다.
- quadhome
누구든지 서면 또는 기타 기록(전자 기록 포함)을 보내거나, 게시하거나, 전송하거나, 그러한 전송을 하도록 하게 하는 것은 불법이며, 다른 사람이 볼 수 있는 방식으로, 그러한 서면이나 기록에서 다음을 협박하는 경우: (a) 다른 사람을 죽이거나 신체적 상해를 가하는 것; 또는 (b) 총기 난사를 하거나 테러 행위를 하는 것.
— 출처: https://www.leg.state.fl.us/Statutes/index.cfm?App_mode=Disp...
검사는 '어떤 방식으로든'을 진지하게 받아들이고 있다.