So blockieren Sie Bots ohne CDN: 9 Methoden im Überblick
How to Block Some of the Bots
Ein erfahrener Serverbetreiber zeigt ohne CDN, wie man die meisten schlecht programmierten Bots blockiert – von HTTP/2.0-Zwang über Blackhole-Routen für Rechenzentren bis zu nftables-Regeln. Er bewertet jede Methode nach Risiko für echte Nutzer und Suchmaschinen und warnt vor Fehlalarmen. Der Fokus liegt auf einfachen, effektiven Tricks, die auch ohne teure Dienste funktionieren.
Echte Browser-Clients verwenden das HTTP-Protokoll HTTP/2.0. Bots verwenden meist HTTP/1.1. Dazu gehört auch GoogleBot, dessen Entwicklung in Bezug auf die Suchmaschine tot zu sein scheint.