robots.txt成AI战争纪念馆，却漏掉关键一役

Sites that block AI training crawlers mostly ignore the answer time bots

我们抓取了全球前10000个网站的robots.txt文件，发现了一个令人震惊的盲点。2023年，当OpenAI推出GPTBot时，网站主们曾恐慌地封锁训练爬虫，但这股热潮过后，大家却普遍忽略了另一类关键爬虫：Answer-time bots。这些爬虫不用于训练模型，而是在用户提问时实时抓取页面生成答案。数据显示，71%封锁Anthropic训练爬虫的网站，对Claude的实时回答爬虫只字未提。随着Cloudflare推出按次付费机制，回答行为正变成交易，但现有的规则书仍停留在旧战争。大多数网站要么完全开放，要么只堵训练端，真正懂得“拒训练、允回答”策略的站点寥寥无几。

"这份规则书是为另一场战争写的。"