KI-Crawler machen ein Viertel des Bot-Traffics auf einer echten Website aus
AI Crawler Index
Der AI Crawler Index von Mojo Dojo zeigt live, welche KI-Bots eine echte Website crawlen. In den letzten 30 Tagen machten KI-Crawler 24 % des Bot-Traffics aus. Besonders aggressiv: FacebookBot mit 345 Hits pro Tag, während GPTBot nur 1,2 Seiten pro Besuch abruft. Die Daten stammen von einer einzigen Website und sind daher eine Fallstudie, keine Volkszählung.
„Von den Hits, die vorgeben, ein verifizierbarer Bot zu sein, kam ein Anteil von 11,5 % von der falschen IP.“