Cloudflare gibt Website-Betreibern neue Kontrolle über KI-Traffic

Cloudflare's new AI traffic options for customers

Ein Jahr nach dem ersten "Content Independence Day" erweitert Cloudflare seine KI-Traffic-Optionen für alle Kunden. Neu ist eine Klassifizierung nach Such-, Agent- und Trainings-Crawlern, die separat verwaltet werden können. Ab dem 15. September 2026 werden für neue Domains standardmäßig Trainings- und Agent-Bots auf Seiten mit Werbung blockiert, während Such-Crawler erlaubt bleiben. Zudem führt Cloudflare mit BotBase eine umfassende Datenbank für Enterprise-Kunden ein und testet ein neues Signal in robots.txt, das die Wiederverwendung von Inhalten steuert.