ロボット排除ファイルは2023年の戦争記念碑：回答時ボットへの対応は空白のまま

Sites that block AI training crawlers mostly ignore the answer time bots

Cloudflareが2026年7月に、AI企業がユーザーの質問に答えるためにページを取得する瞬間に課金する仕組みを発表した。この「回答時フェッチ」が新たな取引の対象になろうとしているが、ウェブサイトのrobots.txtはその存在をほとんど認識していない。上位1万サイトのrobots.txtを分析した結果、AI訓練クローラーをブロックするサイトのうち、回答時ボットへの言及がない割合はAnthropicで71%、OpenAIで53%、Perplexityで50%に上る。ルールは2023年の訓練クローラー恐慌時に集中して書かれ、その後は訓練クローラーの追加が続くだけで、回答時ボットへの対応は放置されている。一方、144サイトは回答時ボットを明示的に許可しており、オプトイン経済の可能性を示している。