Cloudflare：保留搜索曝光，拒绝AI训练
Stay discoverable in search while disallowing AI training
网站长期面临两难：允许AI训练还是牺牲搜索可见性？Cloudflare推出新的“Disallow AI Training”设置，让站长在保持被Google、Apple、Microsoft等搜索引擎索引的同时，拒绝内容被用于AI模型训练。该功能通过Bot Preference Sync在robots.txt中发布偏好，并针对混合用途爬虫（mixed-use crawlers）提供精细控制。Apple、Google和Microsoft已承诺尊重此设置，确保拒绝训练不影响搜索排名。此外，Cloudflare还计划在未来允许站长控制内容在AI摘要中的出现比例，进一步平衡内容保护与传播需求。
没有适当的控制，网站所有者长期面临一个艰难的权衡：是允许你的内容被用于AI训练，还是冒着在搜索中失去可见性的风险。
HN 评论区
49- DharmaPolice
我觉得大多数把数据归类为“公开但又不完全是”的方案最终都会失败。即便你能信任世界上所有 AI 公司都遵守这些条款，又有什么能阻止其他人抓取这些数据并把信息卖给他们呢？我知道有版权法，但他们显然根本不在乎。
归根结底，这让我想起那些非常早期的社交媒体个人主页（那时候大家甚至都不懂隐私设置，如果有的话），上面会写着“如果你不是我的朋友，就不允许阅读此页面”。
如果你不希望你的内容最终落入某个数据库或档案库，那就别把它发布给全世界看。
- 1vuio0pswjnm7
“Cloudflare 根据行为对机器人进行分类，单个机器人可能表现出多种行为。”
这真的成立吗？
CF 把任何不使用带 JavaScript 的流行浏览器的用户都归类为“机器人”。
CF 会对 www 用户进行指纹识别。
举个例子，看看启用了 CF“机器人防护”的网站（即那个“检查您的浏览器”的 CAPTCHA 胡闹，challenges.cloudflare.com）上的 CF Permissions-Policy HTTP 响应头。然后再看看 IA 的 Permissions-Policy 响应头。一个 CDN 以广告商为中心，另一个则以用户为中心。
IA = Internet Archive
- skybrian
我都不知道网站可以选择不向 Google 的 AI 训练提供数据。看来 Google 早在 2023 年就在 robots.txt 中通过 'Google-Extended' 添加了对这一功能的支持：
https://blog.google/innovation-and-ai/products/an-update-on-...
- nirmeetimthebes
“可问责”不过是个花哨的词，意思就是“拉钩上吊，但贴个标签”。一旦数据被获取，就没什么能阻止它进入训练流程了。
- qsbuilder
讽刺的是，搜索引擎现在本身就是 AI 公司。告诉它们“给我索引用于搜索，但别用我的数据训练模型”，无异于要求它们把已经彻底融合的大脑强行拆开。