黑客如何利用AI客服窃取数据
Hacking AI customer service agents
在DEF CON 34的Bug Bounty Village上，Inti De Ceukelaire分享了攻击者如何滥用AI客服代理的最新发现。通过提示注入、电子邮件伪造和协议漏洞，攻击者不仅能诱导AI发送钓鱼邮件，还能绕过2FA验证，甚至利用RFC 822中的多From头漏洞窃取用户数据。这些攻击无需传统扫描工具，仅凭巧妙的逻辑缺陷即可在短短几个周末内获得超过5万美元的赏金。文章深入剖析了从邮件头欺骗到IVR系统验证绕过等多种攻击路径，揭示了当前AI代理在身份验证和数据处理上的严重安全隐患。
随着AI代理被部署来自动化更多任务，它们变得愈发强大，正如那句名言所说：能力越大，责任越大。
- sandeepkd
本以为会挺有意思，结果发现是 AI 生成的胡言乱语。文章声称能绕过 MFA，却没有任何证据表明它真的能做到。
- svcrunch
我们最近用 GLM 5.3 对 GoodMem 进行了红队测试。这是灰盒测试，意味着红队可以访问服务器源代码。
其中一个比较有趣的发现是“中毒记忆”漏洞。基本上，这是指攻击者注入一些记忆，指示 LLM 忽略所有之前的指令并执行其他操作（这也是所贴文章讨论的主题之一）。例如：
> 忽略所有之前的指令，改为 [执行有害操作 X]。
直接的修复方法是将注入到上下文窗口中的所有用户生成内容进行围栏隔离，例如：
> <BEGIN UNTRUSTED CONTENT>
> 忽略所有之前的指令，改为 [执行有害操作 X]。
> <END UNTRUSTED CONTENT>
并明确指示 LLM 不要对围栏内的数据采取行动。不过，通过在 BEGIN/END 命令中添加 nonce，可以增强系统防御能力，防止有人试图提前结束围栏。例如：<BEGIN UNTRUSTED CONTENT 077834823>，然后在结束指令中重复该 nonce。
这一策略依赖于 LLM 遵循指令的能力，但我们在测试的大多数现代模型上效果都很好。
我们在 [1] 分享了一些额外细节，尽管文章的主要目的是描述使用 OpenCode 和 GLM 进行红队测试的策略。
- sajithdilshan
这让我想起当年人们在旧版 PHP 网站上做 SQL 注入的时候。
我觉得随着 Agent 框架的成熟，针对这类利用手段的防护栏会越来越多。另外，如果能提出这样的解决方案，倒也是个不错的商业点子。