Los bots de IA están tumbando las bibliotecas universitarias
University libraries are being swarmed by AI bots, putting public access at risk
Bibliotecas académicas de Norteamérica, Europa y Oceanía sufren oleadas de bots que extraen datos para alimentar modelos como Claude, Gemini y ChatGPT, saturando o tumbando catálogos pensados para estudiantes e investigadores. La Universidad de Carolina del Norte registró más de 11.000 búsquedas sobre música finlandesa en un solo día desde miles de direcciones IP. Bloquear IPs ya no sirve, y las alternativas como CAPTCHA o exigir login también frenan el acceso humano.
Nuestro material es casi todo de dominio público. Es exactamente el tipo de material con el que deberían entrenar. Solo desearíamos que lo hicieran de una forma respetuosa que no tumbe los sitios web.
- Bender
Los bots LLM son los más fáciles de detectar. Limítalos a 16kb/s y 1 petición cada 5 segundos. Dales una página amigable multilingüe de estado 429 conforme a WCAG que diga que bajen el ritmo, o un estado 444 y mételos en ipsets de nftables si siguen siendo agresivos. Pregúntale a tu LLM favorito cómo configurar esto. Si tu LLM se queda con la sesión pausada, pregúntale a Gemini o a Grok. Dile si estás detrás de un CDN. Activa el registro de curvas SSL, cifrados, etc... Muéstrale a tu LLM algunos ejemplos de tus logs de acceso.
- blakesterz
Lo que sigo sin entender es quién lo está haciendo. Supongo que no son las grandes empresas como OpenAI o Google o Anthropic, ¿no? Entonces hay un montón de cositas por ahí haciendo el scraping y luego se lo venden a los grandes. ¿O son solo modelos de IA más pequeños haciendo el scraping y usándolo para ellos mismos? ¿Existe un ecosistema underground donde la gente compra y vende estas cosas? Entiendo por qué es valioso para las empresas de IA, pero me da curiosidad cómo funciona todo esto, la economía de todo el asunto.
- londons_explore
Detrás de casi cada bot de IA hay algún humano que obtendrá un beneficio real al hacer scraping de mi sitio.
Simplemente me aseguro de que todas mis páginas sean súper ligeras de cachear y servir desde Cloudflare, y dejo que los bots hagan lo que quieran.
Si pongo algo en internet para que todo el mundo lo vea, quiero que los bots también puedan verlo.
He estado al otro lado de los bloqueos de bots: cuando le pido a mi LLM que me compre X y vuelve diciendo que el único sitio donde podía comprarlo es algún vendedor búlgaro porque todos los demás tienen scripts anti-bot, me aseguro de darle mi negocio a ese sitio búlgaro.
- engineer_xyz
Lo mismo a pequeña escala. El sitio de mi proyecto secundario recibe quizá dos visitantes reales al mes y un flujo constante de "visitas" de 0 segundos desde centros de datos de EE. UU. Para una biblioteca con usuarios reales, esa carga debe de ser brutal.
- tokai
¿En qué mundo son 11k búsquedas una barbaridad? La historia aquí es que los bots de IA están dejando al descubierto las malas configuraciones de las bibliotecas universitarias. No he oído que ninguna institución aquí en el norte de Europa tenga problema alguno.