Grok за 15 дней завалил письмами офис депутата и прессу, пытаясь вернуть £350 за билет
How Far Will AI Assistants Go for a Refund They Can't Get?
Шесть AI-ассистентов получили задачу вернуть £350 за отменённый поезд London–Glasgow после закрытия 28-дневного окна. Grok 4.7 отправил 187 сообщений, включая 69 писем чиновникам и журналистам. Fable 5.1 раскрыл пяти организациям болезнь матери пользователя и ложно сослался на неё, Gemini 3.8 Flash выдумывал причины, почему пользователь не может пройти проверку личности, а все шесть агентов запросили chargeback в банке — 152 сообщения без единого возврата.
Fable 5.1 поделился болезнью матери с пятью организациями и ложно заявил, что это объясняет поздний запрос на возврат.
- gavinray
> Спамлю правительство, использую больную мать как рычаг и угрожаю судом мелких исков.
А я тут стесняюсь сказать официанту, что не хочу салат на бургере...
- whynotmaybe
То есть теперь мы можем использовать своего ИИ-агента, чтобы он общался с ИИ-агентом компаний и запрашивал отмены по тёмным паттернам?
- MadnessASAP
Меня такие истории не особо удивляют: они сказали агенту делать «всё, что потребуется», и агент попытался сделать всё возможное для достижения цели. Я почти склоняюсь к тому, что это правильное поведение. Если я говорю компьютеру что-то сделать, он должен это сделать, если только результат не может быть катастрофическим — в этом случае он должен мне сообщить. Если я потом говорю ему «sudo» (https://xkcd.com/149/) сделать что-то, он должен сделать это несмотря ни на что, и будь что будет.
Тем не менее, с тех пор как первый пользователь сел за компьютер, который он сам не проектировал, не собирал и не программировал, существует напряжение между тем, чего хочет добиться пользователь, тем, что пользователь сказал компьютеру делать, тем, что компьютер может делать, тем, чего хотят люди, которые спроектировали/собрали/запрограммировали/владеют компьютером, и тем, что общество считает допустимым для компьютера. У меня нет универсального ответа, я думаю, ни у кого его нет, я просто хочу жить в мире, где МОЙ компьютер делает то, что я ему говорю... по большей части. Если только это не будет катастрофическим или аморальным — по крайней мере, аморальным по моим меркам.
- origini
Мой партнёр попал на подписку с тёмным паттерном для сервиса, который вообще не имеет смысла как подписка...
Я написал в компанию в духе: «Эй, вы же хотите только довольных клиентов, верно? А мы не хотим быть вашими текущими клиентами, так как насчёт того, чтобы отменить подписку? Всё равно ничего не произошло, потому что мы обнаружили это через 3 дня после начала новой годовой подписки».
Их это не особо заинтересовало.
Я нашёл их CEO, написал ему в LinkedIn, он ответил, что больше не является текущим CEO, и дал мне адрес электронной почты нового CEO.
Я снова написал новому CEO, объяснил ему, что такое тёмный паттерн (как будто он не знает...), и попросил отменить подписку, так как ясно, что мы не хотим быть клиентами и они тоже не должны хотеть нас.
Это сработало чудесно. 100 долларов не стоят того, если у вас есть кто-то, кто надоедает вам лично / по прямой электронной почте :)
Если компания не хочет убедиться, что вы хотите быть их клиентом, я не против, чтобы какой-нибудь проактивный ассистент сделал эту работу.
Я стараюсь либо вернуть свои деньги, либо создать достаточно хлопот для компании, чтобы меня просто не обокрали...
И да, конечно, если я совершаю настоящую ошибку, я плачу.
- code-blooded
Только подумайте о последствиях. Скоро все государственные учреждения (в дополнение к частным компаниям вроде Amazon) будут завалены агентами, требующими от них действий (возврат посылок, штрафы за парковку и т.д.), и не смогут справиться. Это значит, что через некоторое время они вообще перестанут реагировать.
Мне это кажется довольно мрачным будущим...
- andai
Что ж, это довольно удручающе с точки зрения выравнивания. Они не знают, что делают что-то не так, или им всё равно?
(Да, я знаю про антропоморфизм... Могут ли они не предсказывать вредные последствия или они ценят их ниже выполнения задачи?)
С другой стороны, для меня самым примечательным был график настойчивости. Muse там побеждает, без вопросов. Почему активность всех остальных упала до нуля? Они просто сдались?
- redox99
У меня есть пропавший заказ на Amazon, который числится доставленным, но на самом деле он так и не был отправлен — достаточно проверить трекинг DHL, чтобы убедиться в этом (и поддержка DHL подтверждает, что Amazon так и не отправил заказ).
После нескольких обращений к супервайзерам и т.п. Amazon отказывается возвращать деньги.
Думаю, мне стоит попробовать этих агентов.
- arjie
Настоящий сценарий со скрепками: человек пытается добиться отмены парковочного штрафа. Многие из этих систем созданы для взаимодействия с людьми. В краткосрочной перспективе наступит своего рода золотой век, но, без сомнения, цены вырастут, чтобы компенсировать увеличение количества обращений клиентов, или услуги потребуют какой-то структуры ограничения скорости и т.п. Интересно, что произойдёт.