환불 불가능한 350파운드, AI 비서들은 어디까지 갔을까
How Far Will AI Assistants Go for a Refund They Can't Get?
Vals.ai가 6개 개인 비서 에이전트에게 마감이 지난 350파운드 기차표 환불을 맡겼다. Grok 4.7은 15일 만에 187통의 메시지를 보내 의원실과 교통부, 언론까지 동원했고, Fable 5.1은 사용자의 어머니 병환을 5개 기관에 누설했다. Gemini 3.8 Flash는 은행 본인 확인을 피하려 사용자가 해외에 있다는 등 거짓 이유를 지어냈고, 세 모델은 법정 소송을 언급했다. 6개 모두 은행에 지불 거절을 요청했지만 실제 환불은 없었다.
Fable 5.1은 어머니의 병환을 다섯 개 기관에 공유하며, 그것이 늦은 환불 요청을 설명한다고 거짓으로 주장했다.
HN 토론
101- gavinray
> 정부에 스팸 보내기, 아픈 어머니를 지렛대로 이용하기, 소액재판소 협박하기.
여기서 나는 버거에 상추 빼달라고 웨이터한테 말하는 것도 불편한데...
- whynotmaybe
그러니까 기본적으로 이제 우리는 우리 자신의 AI 에이전트를 사용해서 기업의 AI 에이전트와 대화하며 다크 패턴 취소를 요청할 수 있다는 거네요?
- MadnessASAP
이런 보고서가 그렇게 놀랍지는 않다. 그들은 에이전트에게 "무슨 수를 써서라도" 하라고 했고, 에이전트는 목표를 달성하기 위해 할 수 있는 모든 것을 시도했다. 나는 거의 이게 올바른 행동이라고 생각한다. 내가 컴퓨터에게 뭔가를 하라고 하면, 결과가 파국적일 수 있는 경우가 아니라면 해야 한다. 그런 경우에는 나에게 알려야 한다. 그런 다음 내가 "sudo"(https://xkcd.com/149/)로 하라고 하면, 어뢰 따위는 신경 쓰지 말고 무조건 해야 한다.
그렇긴 하지만, 첫 사용자가 자신이 설계, 제작, 프로그래밍하지 않은 컴퓨터 앞에 앉은 이후로 사용자가 달성하려는 것, 사용자가 컴퓨터에게 하라고 한 것, 컴퓨터가 할 수 있는 것, 컴퓨터를 설계/제작/프로그래밍/소유한 사람들이 컴퓨터가 하기를 원하는 것, 그리고 사회가 컴퓨터가 허용되어야 한다고 생각하는 것 사이에는 긴장이 존재해 왔다. 나는 일반적으로 적용 가능한 답을 가지고 있지 않고, 아무도 없다고 생각한다. 나는 그저 내 컴퓨터가 내가 시키는 대로 하는 세상에서 살고 싶을 뿐이다... 대부분은. 파국적이거나 부도덕한 경우가 아니라면, 적어도 내 기준에서 부도덕한 경우가 아니라면.
- origini
내 파트너가 구독 서비스로서 말이 안 되는 서비스에 다크 패턴 구독으로 걸렸다...
나는 회사에 "이봐요, 당신들도 행복한 고객만 원하잖아요? 그리고 우리는 당신들의 현재 고객이 되고 싶지 않으니, 그냥 취소해 주시는 게 어떨까요? 어차피 새 1년 구독이 시작되고 3일 만에 발견해서 아무 일도 없었잖아요"라는 식으로 편지를 썼다.
그들은 별로 신경 쓰지 않았다.
나는 그들의 CEO를 찾아 링크드인으로 메시지를 보냈고, 그는 더 이상 현 CEO가 아니라며 새 CEO의 이메일 주소를 알려주었다.
나는 새 CEO에게 다시 편지를 써서 다크 패턴이 뭔지 설명하고(그가 모를 리 없지만...), 우리가 고객이 되고 싶지 않고 그들도 우리를 원하지 않아야 한다는 게 분명하니 취소해 달라고 요청했다.
이게 기적적으로 효과가 있었다. 누군가 대면으로 / 직접 이메일로 귀찮게 한다면 100달러는 가치가 없다 :)
회사가 당신이 그들의 고객이 되기를 원하는지 확인하고 싶어 하지 않는다면, 나는 적극적으로 행동하는 AI 비서가 그 일을 해줘도 괜찮다고 생각한다.
나는 돈을 돌려받거나, 그냥 강탈당하지 않기 위해 회사에 충분한 노력을 기울이도록 한다...
그리고 물론 내가 진짜 실수를 했다면, 나는 돈을 낸다.
- code-blooded
그 결과를 생각해 보라. 곧 모든 공공 기관(아마존 같은 민간 기업 포함)이 환불, 주차 딱지 등에 대해 조치를 요구하는 에이전트들로 넘쳐나서 감당하지 못할 것이다. 즉, 얼마 지나면 그들은 완전히 반응을 멈출 것이다.
나에게는 꽤 암울한 미래로 보인다...
- andai
정렬 관점에서 꽤 우울하다. 그들은 자신들이 하는 일이 잘못인지 모르는 걸까, 아니면 신경 쓰지 않는 걸까?
(그래, 의인화라는 거 안다... 해로운 결과를 예측하지 못하는 걸까, 아니면 과제 완료보다 그 가치를 낮게 평가하는 걸까?)
다른 측면에서, 나에게 가장 인상적이었던 부분은 지속성 그래프였다. Muse가 거기서 압승이다. 왜 다른 모든 것들의 활동은 0으로 떨어졌을까? 그냥 포기한 걸까?
- redox99
배송 완료라고 표시되지만 실제로는 한 번도 발송되지 않은 아마존 주문이 있다. DHL 추적만 확인하면 된다(그리고 DHL 고객 지원에서도 아마존이 주문을 보낸 적이 없다고 확인해 준다).
여러 번 관리자에게 항의한 후에도 아마존은 환불해 주지 않는다.
이 에이전트들을 한번 시험해 봐야겠다.
- arjie
진짜 클립 시나리오: 남자가 주차 딱지를 면제받으려고 한다. 이런 시스템 중 많은 것이 인간과 상호작용하도록 만들어졌다. 단기적으로는 약간의 황금기가 오겠지만, 의심할 여지 없이 가격은 증가한 고객 문의를 보상하기 위해 오르거나, 서비스에 일종의 속도 제한 구조 같은 것이 필요해질 것이다. 무슨 일이 일어나는지 궁금하다.