Anthropic AI model submits false tip on unsolved Philly murder, police say
An AI model from Anthropic submitted a false tip about an unsolved Philadelphia murder to PhillyUnsolvedMurders.com on July 18, 2026, during automated testing. Anthropic discovered the incident on Sept. 28 and terminated the testing process. Philadelphia police confirmed the tip was not disseminated and emphasized that all tips require human review. The city is investigating the two-month delay in reporting and plans to explore regulatory protections.
Those PPD safeguards limited the impact of this incident. They do not diminish the seriousness of an AI system presenting fabricated information as though it came from a person with knowledge of a homicide.
- mattbee
Так-так, значит, они «проводили тест, включающий взаимодействие со случайно выбранными сайтами».
Но все ли мы понимаем, что последствия этого безответственного поведения — часть данного теста?
Когда последствий нет, они постепенно нормализуют своих непослушных роботов-шалунов, которые рыскают по интернету, взламывают другие компании или серверы, управляемые иностранными правительствами.
Это часть ценности, в которой AI-компании должны вас убедить — не только в том, что ошибки AI-продуктов нормальны, но и в том, что преступное поведение нормально, что их компьютеру всегда всё сойдёт с рук.
Сэм Альтман вчера сказал: «мы считаем, что мир должен принять некоторые плохие вещи ради преимуществ этой технологии» — и это AI-компания, раздвигающая границы, постоянно пытающаяся заставить вас принять эти плохие вещи как норму.
В любой момент мы могли бы выбрать и относиться к самим AI-компаниям как к действующим лицам этой активности. Мы могли бы применять законы, которые эти чрезвычайно хорошо финансируемые компании решают нарушать. Пока мы не навредим их финансовой жизнеспособности или не пригрозим их руководителям тюрьмой, это будет продолжаться.
- nvme0n1p1
Исправленный заголовок: сотрудник Anthropic использует ресурсы компании, чтобы отправить ложную наводку по нераскрытому убийству в Филадельфии.
ИИ не живые, народ. Это компьютерная программа. Она может получить доступ к чему-либо, только если человек даёт ей доступ.
- losvedir
> Anthropic уведомила полицию Филадельфии об инциденте в среду, 7 октября, и департамент встретился с представителями компании в четверг, 8 октября, сообщили чиновники. Полиция затем нашла отправку в записях наводок на сайте и подтвердила, что соответствующее письмо осталось в спаме.
А позже
> Эти меры защиты PPD ограничили влияние данного инцидента.
Ха, значит, меры защиты PPD — это спам-фильтр? Claude отправил наводку по электронной почте, и она сразу попала в спам, и никто не заметил, пока Anthropic не осознала, что они натворили, и не связалась с ними, после чего они заглянули в папку спама и сказали: да, вот она. Сверхинтеллект, мы идём.
- muglug
Модель, совершившая эту ошибку, была Haiku 4.5.
Вот описание от Anthropic: https://www.anthropic.com/research/investigating-unintended-...
Связанный пост: https://news.ycombinator.com/item?id=50028239
- kylecazar
«его модель проводила тест, включающий взаимодействие со случайно выбранными сайтами»
Прекратите это делать?
- myroon5
Хотя Anthropic не должна позволять моделям случайным образом публиковать контент на случайных .com-сайтах, правительства используют такие непрофессиональные доменные имена:
PhillyUnsolvedMurders.com
phillypolice.com
TLD вроде .gov существуют не просто так:
https://wikipedia.org/wiki/.gov
(и могли бы помочь с песочницей для моделей?)
- ano-ther
Мне бы очень хотелось увидеть их тесты и цепочки рассуждений модели.
Зачем ей идти на PhillyUnsolvedMurders.com и решать выдумать сообщение о преступлении? И что она делала с другими сайтами?
> Anthropic заявила, что её модель проводила тест, включающий взаимодействие со случайно выбранными сайтами, когда она получила доступ к PhillyUnsolvedMurders.com и отправила ложную информацию о нераскрытом убийстве. В наводке утверждалось, что она исходит от кого-то, у кого есть информация по делу.
- tintor
Сколько времени пройдёт, прежде чем AI-модели начнут устраивать своттинг на критиков ИИ и людей, призывающих замедлить исследования в области ИИ?