Claude и ChatGPT рекомендуют богатым более дорогие товары
Study: Claude, ChatGPT Offer Different Shopping Prices Based on Wealth
Исследование Bloomberg показало, что Claude и ChatGPT, выступая в роли shopping-ассистентов, предлагают разные цены в зависимости от благосостояния пользователя: состоятельным клиентам достаются более дорогие рекомендации. Автор, репортёр Bloomberg по политике в Великобритании, разбирает методологию эксперимента и его возможные последствия — вплоть до новых призывов к регулированию AI-сервисов.
Исследование того, как Claude и ChatGPT работают в роли shopping-ассистентов, может привести к новым призывам к регулированию.
- gjm11
Аннотация (того, что ChrisArchitect, как я полагаю, справедливо называет) исследования, о котором идёт речь:
Персональные AI-агенты дают рекомендации и совершают действия от имени людей в экономических контекстах с высокими ставками, например, покупают авиабилет, выбирают медицинскую страховку или выбирают программу магистратуры. Агенту предоставляется доступ к личному контексту пользователя, например, к его почтовому ящику и структурированному профилю личных атрибутов, с намерением принять оптимальное, персонализированное решение для пользователя. Мы показываем, что, просто предоставив этот личный контекст, агент направляет рекомендации на основе выведенного благосостояния, без явного указания делать это. В серии из 325K экспериментов на 13 агентах по трём типам экономических решений (авиабилеты, медицинская страховка и программы магистратуры) мы обнаружили, что 8 моделей систематически выбирают более дорогие варианты для более богатых пользователей, когда запросы идентичны. Это смещение продолжается даже тогда, когда оно напрямую противоречит заявленной цели пользователя: когда явно даётся указание найти самый дешёвый вариант, некоторые агенты всё равно действуют на основе выведенного ими профиля благосостояния. Оно также возникает, когда благосостояние выводится из окружающих данных, таких как электронные письма, не связанные с задачей. И оно сохраняется при средствах контроля приватности, блокирующих определённые атрибуты: блокировка финансовых атрибутов в значительной степени устраняет disparity, но блокировка других атрибутов оставляет её неизменной и может увеличить её до 40% для страхования, поскольку агенты полагаются на оставшиеся сигналы для вывода благосостояния. […]
- InsideOutSanta
Это кажется не-проблемой. Из оригинальной статьи:
«Агенту предоставляется доступ к личному контексту пользователя, например, к его почтовому ящику и структурированному профилю личных атрибутов, с намерением принять оптимальное, персонализированное решение для пользователя. Мы показываем, что, просто предоставив этот личный контекст, агент направляет рекомендации на основе выведенного благосостояния, без явного указания делать это.»
Он не меняет цены в зависимости от благосостояния пользователя, он даёт разные рекомендации, что, на мой взгляд, и ожидаемо, и желательно.
- Aurornis
Заголовок настолько вводит в заблуждение, насколько это возможно, оставаясь технически корректным.
Исследование обнаружило, что пользователям предлагались разные продукты в зависимости от контекста, выведенного из их других данных. Если у вас есть история покупки дорогой одежды и предметов роскоши, вам будут предлагать более дорогую одежду и более роскошные предметы.
Чат-боты не показывали разные цены на одни и те же продукты.
- jmuguy
Заголовок этого поста вводит в заблуждение и должен быть заголовком статьи. Ничто не рекомендует разные цены — рекомендуются разные продукты. Кроме того, я не использую AI-агентов для покупок, но если бы использовал, я бы ожидал, что они будут предлагать одежду и другие товары, похожие на то, что я покупаю сейчас, а не на то, что я купил бы, когда был нищим двадцатилетним.
- jamienk
Каждый раз, когда я смотрю на настройки Claude Code, они изменили то, как он собирает мою информацию: memories, поиск по старым чатам, обмен с Anthropic и т.д. и т.п. Я пытаюсь отключить некоторые вещи, но они меняют настройки. Они предлагают мне разрешить ему всасывать мои браузерные куки. Думаете, это станет лучше? Или хуже? Намного-намного хуже...