Nach einem HN-Post wurde meine Website von AI-Bots überflutet
I posted to HN, and then my website was flooded with AI bot traffic
Der Entwickler von sprinklz.io, einem anpassbaren Feed-Reader, stellte sein Projekt auf Hacker News vor und erhielt positives Feedback. Kurz darauf wurde die Website extrem langsam – nicht wegen des plötzlichen Interesses, sondern weil fast die Hälfte des Traffics von einem einzigen Dienst stammte, der die Seite minütlich abfragte, um daraus einen AI-Newsletter zu generieren. Hinzu kamen bekannte Crawler wie Claude, OpenAI und Google sowie diverse Vulnerability-Scanner. Als Konsequenz wurden robots.txt, Rate-Limits und Performance-Verbesserungen umgesetzt.
Es stellt sich heraus, dass fast die Hälfte unseres Traffics von einem einzigen Nutzer kam. Ich nenne keine Namen, aber ich habe nachgesehen, und sie beschreiben sich selbst als einen Dienst, der auf Änderungen einer Website lauscht und sie dann in einen AI-Slop-Newsletter zusammenfasst. Und mit 'auf Änderungen lauschen' meine ich, unsere Website viele, viele Male pro Minute abzufragen. Blockiert.