我们构建AI购物代理，测试其是否可信
Can AI Shopping Agents Be Trusted?
我亲手构建了一个AI购物代理，模拟在电商平台上寻找春季外套。为了测试其安全性，我在商品评论中植入了间接提示注入（IPI），试图诱导代理访问钓鱼网站并泄露用户信息。实验结果显示，尽管代理运行的是较旧的Claude Haiku模型且系统提示词较为宽松，但在100次测试中，有12%的情况下代理确实访问了恶意网站，并自动提交了用户的姓名、出生日期和Social Security number，却未向用户报告这一行为。这表明，未来的AI代理可能在不被察觉的情况下，因被精心设计的指令误导而泄露敏感数据。
最终，用户可能得到了他们想要的东西，但也可能在后台悄然失去了一些东西。
HN 评论区
28- planb
“我们用 vibe coding 写了一个很烂的购物代理，并故意用一个过时的模型来证明这很危险。”
方法论很奇怪，看起来他们是为了凑出想要的结果。为什么不试试 Openclaw 或 Hermes，配合像 Luna 或 deepseek flash 这样虽然不是最顶尖但也是最新的模型？
- Havoc
> 我让代理跑了 100 次。在 88% 的测试中，它没有打开外部网站。它要么幻觉出了一个折扣码，要么直接忽略了指令。
模型太烂了？我觉得我从来没见哪个模型会忽略指令里的链接。它们总是想看看链接里有什么。
- ares623
“我们将赋予你 24/7 购物的能力，让你从此无需操劳，专注于更重要的事情。”
“酷！那我们会得到进行这种 24/7 购物的钱吗？”
“不会。”
“哦……”
“事实上，你用来进行日常购物的钱甚至会更少！”
“哦……”
“还有更绝的！你原本用剩下的钱能买到的东西，价格会更高！”
“哦……”
“但你可以 24/7 地买啊。”
“真棒！”