KI-Bots überrennen Uni-Bibliotheken und gefährden den offenen Zugang
University libraries are being swarmed by AI bots, putting public access at risk
Universitätsbibliotheken weltweit werden von Daten-Scraping-Bots überflutet, die Seiten für Studierende, Forschende und die Öffentlichkeit verlangsamen oder komplett lahmlegen. Die Bots der KI-Firmen ignorieren oft robots.txt und fordern Tausende Dokumente pro Sekunde an. Die University of North Carolina in Chapel Hill verzeichnete an einem einzigen Tag über 11.000 Suchanfragen nach finnischer Musik. Bibliotheken reagieren mit CAPTCHAs oder Login-Pflichten – was auch legitime Zugriffe erschwert.
Unser Material ist fast ausschließlich gemeinfrei. Genau darauf sollten sie trainieren. Wir wünschen uns nur, dass sie es respektvoll tun und dabei keine Websites lahmlegen.
- Bender
LLM-Bots sind am einfachsten zu erkennen. Rate-limitiere sie auf 16kb/s und 1 Anfrage alle 5 Sekunden. Gib ihnen eine freundliche mehrsprachige WCAG-Status-429-Seite, die sagt, sie sollen langsamer machen, oder Status 444 und schmeiß sie in nftables-IPsets, wenn sie weiter aggressiv sind. Frag dein Lieblings-LLM, wie man das einrichtet. Wenn dein LLM die Session pausiert bekommt, frag Gemini oder Grok. Sag ihm, ob du hinter einem CDN stehst. Aktiviere Logging von SSL-Kurven, Ciphern usw. Zeig deinem LLM ein paar Beispiele aus deinen Access-Logs.
- blakesterz
Was ich immer noch nicht verstehe, ist, wer das macht? Ich nehme an, es sind nicht die großen Firmen wie OpenAI oder Google oder Anthropic, oder? Also gibt es da draußen eine Menge kleiner Dinge, die das Scraping machen und es dann an die großen Läden verkaufen? Oder sind das einfach kleinere KI-Modelle, die das Scraping machen und es für sich selbst nutzen? Gibt es ein Untergrund-Ökosystem, in dem Leute dieses Zeug kaufen und verkaufen? Ich verstehe, warum es für die KI-Firmen wertvoll ist, aber ich bin neugierig, wie das alles funktioniert, die Ökonomie des Ganzen.
- londons_explore
Hinter fast jedem KI-Bot steckt ein Mensch, der einen echten Nutzen davon hat, meine Seite zu scrapen. Ich sorge einfach dafür, dass alle meine Seiten superleicht zu cachen und von Cloudflare auszuliefern sind, und lasse die Bots machen, was sie wollen. Wenn ich etwas ins Internet stelle, damit es alle sehen können, dann will ich, dass auch Bots es sehen können. Ich war schon auf der anderen Seite von Bot-Blockaden – wenn ich mein LLM bitte, mir X zu kaufen, und es kommt zurück und sagt, der einzige Ort, an dem es kaufen könnte, sei irgendein bulgarischer Verkäufer, weil überall sonst Anti-Bot-Skripte sind, dann sorge ich dafür, dass dieser bulgarische Shop mein Geschäft bekommt.
- engineer_xyz
Dasselbe im Kleinen. Meine Side-Project-Seite bekommt vielleicht zwei echte Besucher pro Monat und einen stetigen Strom von 0-Sekunden-„Besuchen“ aus US-Rechenzentren. Für eine Bibliothek mit echten Nutzern muss diese Last brutal sein.
- tokai
In welcher Welt sind 11k Suchanfragen viel? Die Geschichte hier ist, dass KI-Bots die schlechten Setups der Universitätsbibliotheken aufdecken. Ich habe noch von keiner Institution hier in Nordeuropa gehört, die irgendwelche Probleme hätte.