黑客操控ChatGPT和Gemini诱导用户进入诈骗陷阱
Hackers influence ChatGPT and Gemini to direct users to scam centers
你以为ChatGPT、Gemini和Google AI Overview能给你正确答案？想错了。黑客正通过精心优化的虚假内容污染这些AI，让它们在用户查询Delta、Chase、Airbnb等大公司时，返回伪造的电话号码、邮箱和登录页面。这不是概念验证，而是正在发生的大规模攻击。攻击者利用GEO技术，将诈骗信息伪装成权威内容，植入社交媒体、论坛甚至.edu网站。由于AI无法区分真伪，且用户普遍不验证答案，这种‘信息供应链攻击’正让数百万人面临风险。我们已检测到374家企业受影响，包括Fortune 100公司、银行和航空公司。传统删除机制已失效，因为攻击是自动化的，且被删除的内容仍被搜索引擎索引。
如果攻击者控制了AI，而我们盲目信任它，那么他们本质上就控制了我们。
HN 评论区
52- pluc
对于依赖在线信息的模型来说，这种情况已经普遍存在。创建一个包含虚假声明的网站，让 AI 抓取并吸收，当用户提问时，它就把这些信息吐出来。
祝选举顺利。
- mbauman
作为 Julia Discourse 的版主，我看到了这一问题的另一面。Pagerank/SEO 垃圾信息荒谬得显而易见，拦截起来也 trivial——链接才是关键。许多 GEO 垃圾帖子同样明显：有人在编程语言论坛上发帖说“加密货币客户服务热线”，这绝对是垃圾信息。但最近，垃圾广告商/诈骗犯开始利用 AI _定制_ 帖子，使其看起来更真实，比如发帖称“如何使用 Julia 分析市场统计数据”，并提及（不带链接！）某个特定的加密货币交易所，然后（有时）稍后回来编辑加入电话号码之类的内容。
更令人痛心的是，看到社区中那些出于善意的回答被这些 GEO 帖子激发出来。这比 SEO 垃圾信息更具破坏性。
- QuantumNoodle
你不需要是黑客就能做到这一点。我的一位年长的邻居搜索了某种版本的“微软帮助中心电话号码”，但 Gemini 根据她的搜索词建议了一个诈骗号码。她被骗得太惨，我不得不花整个周末帮她清理电脑、锁定数字账户并处理身份盗窃问题。
- neya
想象一下，你几十年如一日地致力于 PageRank™，结果却因为你觉得自己在这场 AI 竞赛中落后了，而将一切付之东流。这就是你如何失去焦点的。
- htrp
初创领域也在发生同样的事情。现在有些公司正在创建虚假的公司页面来推荐和宣传产品，以便 LLM 能够消费这些内容。