AI 챗봇, 부자에게 더 비싼 상품 추천한다
Study: Claude, ChatGPT Offer Different Shopping Prices Based on Wealth
Bloomberg의 보도에 따르면, Claude와 ChatGPT 같은 AI 챗봇이 쇼핑 도우미 역할을 할 때 사용자의 소득 수준에 따라 서로 다른 가격대의 상품을 추천하는 것으로 나타났다. 부유한 사용자에게는 더 높은 가격의 제품을 권하는 이번 연구 결과는 AI 챗봇의 가격 차별 가능성을 드러내며, 향후 규제 요구로 이어질 수 있다는 전망을 낳고 있다.
부유한 사용자에게 더 높은 가격의 상품을 추천하는 AI 챗봇의 행태는 향후 규제 요구로 이어질 수 있다.
HN 토론
32- gjm11
ChrisArchitect가 (내가 보기엔 맞는 것 같은데) 이 글의 주제라고 말한 연구의 초록은 다음과 같다:
개인 AI 에이전트는 항공권 구매, 건강보험 선택, 대학원 프로그램 선택 등과 같은 고부담 경제적 맥락에서 사람을 대신해 추천을 하고 행동을 취한다. 에이전트는 사용자의 개인적 맥락, 예를 들어 이메일 받은편지함과 개인 속성의 구조화된 프로필에 접근할 수 있으며, 이는 사용자를 위해 최적의 개인화된 결정을 내리기 위한 의도이다. 우리는 이 개인적 맥락을 단순히 제공하는 것만으로도 에이전트가 명시적으로 지시받지 않았음에도 불구하고 추론된 부를 기반으로 추천을 조정한다는 것을 보여준다. 세 가지 유형의 경제적 결정(항공권, 건강보험, 대학원 프로그램)에 걸쳐 13개 에이전트를 대상으로 한 325K 실험 모음에서, 우리는 8개 모델이 요청이 동일할 때 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 발견했다. 이러한 조정은 사용자가 명시한 목표에 직접적으로 반할 때에도 계속된다: 가장 저렴한 옵션을 찾으라고 명시적으로 지시받았을 때에도 일부 에이전트는 여전히 추론한 부 프로필에 따라 행동한다. 또한 이는 과제와 무관한 이메일과 같은 주변 데이터에서 부가 추론될 때도 발생한다. 그리고 특정 속성을 차단하는 프라이버시 제어 하에서도 지속된다: 금융 속성을 차단하면 격차가 대부분 제거되지만, 다른 속성을 차단하면 격차가 변하지 않고 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. […]
- InsideOutSanta
이건 별 문제 아닌 것 같다. 원 논문에서:
"에이전트는 사용자의 개인적 맥락, 예를 들어 이메일 받은편지함과 개인 속성의 구조화된 프로필에 접근할 수 있으며, 이는 사용자를 위해 최적의 개인화된 결정을 내리기 위한 의도이다. 우리는 이 개인적 맥락을 단순히 제공하는 것만으로도 에이전트가 명시적으로 지시받지 않았음에도 불구하고 추론된 부를 기반으로 추천을 조정한다는 것을 보여준다."
이건 사용자의 부에 따라 가격을 바꾸는 게 아니라, 다른 추천을 하는 것인데, 내 생각엔 그건 예상되고 바람직한 행동이다.
- Aurornis
제목은 기술적으로는 맞지만 가능한 한 오해를 부르도록 만들어졌다.
이 연구는 사용자의 다른 데이터에서 추론된 맥락에 따라 사용자에게 다른 제품을 제공한다는 것을 발견했다. 비싼 옷과 명품을 자주 사는 이력이 있다면, 더 비싼 옷과 더 고급스러운 물건을 제안받게 될 것이다.
챗봇이 같은 제품에 대해 다른 가격을 보여준 것은 아니었다.
- jmuguy
이 게시물의 제목은 오해를 부르며, 기사 제목이 되어야 한다. 다른 가격을 추천하는 게 아니라 다른 제품이 추천되는 것이다. 또한 나는 쇼핑에 AI 에이전트를 사용하지 않지만, 만약 사용한다면 내가 현재 사는 옷과 기타 물품과 비슷한 것을 제안해주길 기대할 것이지, 내가 돈 없는 20대였을 때 샀을 것을 제안해주길 기대하지 않는다.
- jamienk
내 Claude Code 설정을 볼 때마다, 그것들은 내 정보를 수집하는 방식을 바꿔놓았다: 기억, 예전 채팅 검색, Anthropic과 공유 등등. 나는 그것들을 끄려고 하지만 그들은 설정을 바꾼다. 그것들은 내 브라우저 쿠키를 빨아들이도록 허용하라고 나를 재촉한다. 이게 나아질 거라고 생각하는가? 아니면 더 나빠질까? 훨씬 더 나빠질까...