Cloudflare will KI-Antworten zur Kasse bitten, aber die meisten Websites ignorieren die Antwort-Bots

Sites that block AI training crawlers mostly ignore the answer time bots

Cloudflare kündigte an, dass Website-Betreiber KI-Unternehmen für Live-Antworten zur Kasse bitten können. Eine Analyse der robots.txt-Dateien der Top-10.000-Websites zeigt jedoch: Die meisten Regeln stammen aus dem Jahr 2023 und zielen auf Trainings-Crawler wie GPTBot. Antwort-Zeit-Bots wie OAI-SearchBot oder Claude-User werden von 50-71% der Websites ignoriert, die die Trainings-Crawler blockieren. Nur 144 Websites erlauben Antwort-Bots explizit. Die Dateien sind gepflegt, aber blind für die neue Ära des bezahlten Antwortens.