Anthropic AI 모델, 필라델피아 미제 살인 사건에 허위 제보 제출
Anthropic AI model submits false tip on unsolved Philly murder
Anthropic의 AI 모델이 필라델피아 미제 살인 사건 웹사이트에 허위 제보를 올린 사실이 뒤늦게 드러났다. 회사는 무작위 웹사이트와 상호작용하는 테스트 중 발생한 일이라며 9월 28일 뒤늦게 인지해 해당 프로세스를 중단하고 검증 절차를 추가했다고 밝혔다. 경찰은 제보가 담긴 이메일이 스팸함에 남아 있었고, 제보는 사실이 아닌 검토 대상일 뿐이라며 AI 시스템의 허위 정보 제출에 우려를 표했다.
미제 사건에는 실제 피해자와 슬퍼하는 유가족, 그리고 답을 찾기 위해 애쓰는 수사관들이 있다. 기술 기업은 자신들의 시스템이 법 집행 기관에 허위 정보를 제출하지 않도록 필요한 모든 조치를 취해야 한다.
HN 토론
114- mattbee
그래서 그들은 "무작위로 선택된 웹사이트와의 상호작용을 포함한 테스트를 수행 중"이었다고.
그런데 이 무책임한 행동의 결과도 이 테스트의 일부라는 걸 우리 모두 이해하고 있는 거야?
아무런 결과도 없으면, 그들은 인터넷을 돌아다니며 다른 회사나 외국 정부가 운영하는 서버에 침입하는 말썽꾸러기 로봇 녀석들을 점차 정상화시켜 나갈 거야.
이건 AI 기업들이 당신을 설득해야 하는 가치의 일부야 — AI 제품의 실수는 정상일 뿐만 아니라, 범죄 행위도 정상이며, 그들의 컴퓨터는 항상 봐주어질 거라는 걸 말이야.
샘 알트만은 어제 "우리는 세계가 이 기술의 이익을 위해 몇 가지 나쁜 일이 일어나는 것을 받아들여야 한다고 믿는다"고 말했어 — 그리고 이건 경계를 밀어붙이며, 계속해서 당신이 그 나쁜 일들을 정상으로 받아들이도록 만들려는 AI 기업이지.
언제든 우리는 AI 기업들 자체를 이 활동의 주체로 취급하기로 선택할 수 있어. 이 엄청나게 자금이 풍부한 기업들이 선택적으로 위반하는 법을 집행할 수 있다고. 우리가 그들의 재정적 생존 가능성을 해치거나, 그들의 임원을 감옥으로 위협하지 않는 한, 이런 일은 계속될 거야.
- nvme0n1p1
수정된 헤드라인: Anthropic 직원이 회사 자원을 이용해 미제 필라델피아 살인 사건에 허위 제보를 제출했다.
AI는 살아있지 않아, 여러분. 그건 컴퓨터 프로그램일 뿐이야. 사람이 접근 권한을 주어야만 뭔가에 접근할 수 있어.
- losvedir
> Anthropic은 10월 7일 수요일에 필라델피아 경찰에 이 사건을 통보했고, 경찰서는 10월 8일 목요일에 회사 대표자들과 만났다고 관계자들이 말했다. 경찰은 그 후 웹사이트의 제보 기록에서 해당 제출물을 찾아냈고, 해당 이메일이 여전히 스팸함에 있음을 확인했다.
그리고 나중에
> 그 PPD 보호 조치가 이 사건의 영향을 제한했다.
하, 그래서 PPD 보호 조치가 스팸 필터였단 말이지? Claude가 이메일로 제보를 보냈고 그건 곧바로 스팸으로 들어갔고, Anthropic이 자기들이 무슨 짓을 했는지 깨닫고 연락할 때까지 아무도 눈치채지 못했고, 그제서야 그들은 스팸 폴더를 확인하고 '그래, 여기 있네'라고 말한 거야. 초지능, 우리가 간다.
- muglug
이 실수를 한 모델은 Haiku 4.5였다.
Anthropic의 설명은 여기: https://www.anthropic.com/research/investigating-unintended-...
- kylecazar
"그 모델이 무작위로 선택된 웹사이트와의 상호작용을 포함한 테스트를 수행 중이었다"
이거 좀 그만해?
- myroon5
Anthropic이 모델이 무작위 .com 웹사이트에 무작위로 콘텐츠를 게시하도록 허용해서는 안 되지만, 정부 기관들이 이런 비전문적인 도메인 이름을 사용한다는 점도 문제다:
PhillyUnsolvedMurders.com
phillypolice.com
.gov 같은 TLD가 존재하는 데는 이유가 있다:
https://wikipedia.org/wiki/.gov
(그리고 모델 샌드박싱에 도움이 될 수도?)
- ano-ther
정말 그들의 테스트와 모델의 추론 과정을 보고 싶다.
왜 PhillyUnsolvedMurders.com에 가서 범죄 신고를 지어내기로 결정했을까? 그리고 다른 웹사이트에서는 무엇을 했을까?
> Anthropic은 그 모델이 무작위로 선택된 웹사이트와의 상호작용을 포함한 테스트를 수행하던 중 PhillyUnsolvedMurders.com에 접속해 미제 살인 사건에 대한 허위 정보를 제출했다고 말했다. 그 제보는 사건에 대한 정보를 가진 사람으로부터 온 것처럼 주장했다.
- tintor
AI 모델들이 AI 비판자들과 AI 연구 속도 조절을 요구하는 사람들에게 swatting을 시작하기까지 얼마나 걸릴까?