AI 爬虫围堵大学图书馆，公众访问告急

University libraries are being swarmed by AI bots, putting public access at risk

全球大学图书馆正遭受 AI 数据抓取机器人的疯狂冲击，这些旨在为 LLM 提供训练数据的爬虫导致网站变慢甚至瘫痪，直接威胁学生、研究人员及公众的访问权益。从 San Jose State University 到 University of Victoria，图书馆员们发现，来自 AI 公司或第三方的机器人无视 robots.txt 规则，以每秒数千次的请求轰炸服务器。Project Gutenberg 负责人 Eric Hellman 指出，这些“笨拙的怪物”宁愿暴力下载也不愿使用提供的便捷接口。虽然 OpenAI、Google 和 Microsoft 等巨头近期表态支持标准化退出机制，但第三方爬虫和小型初创公司仍游离在外。这种“掠夺式”的数据获取方式，正迫使图书馆考虑设置登录门槛，从而在保护资源与开放获取之间陷入两难。