Los scrapers de IA me han hecho abandonar mi web de fotografía
Running web sites makes me not want to
El autor relata cómo los scrapers de LLM saturaron su servidor casero hasta el punto de plantearse eliminar su web de fotografía y vender fanzines físicos. Tras probar Anubis e iocaine, bloqueó rangos IP de grandes nubes como Meta, Azure y Alibaba en nftables. Denuncia el DDOS 'legal' que hace inviable mantener un sitio personal sin pagar a otra corporación, y lamenta que la web abierta haya muerto.
Me irrita muchísimo el sentido de entitlement con el que las corporaciones scrapean la web solo para vendernos una pobre imitación de la creatividad.
- baumschubser
de todos los aspectos de la IA, este me parece el más fácil de ignorar. La IA puede envenenar tu lectura, no dejes que envenene tu escritura. ¿Por qué no seguir haciendo lo tuyo? Este sentimiento de extrañeza no es nuevo en un mundo donde toda utilidad tiene que expresarse como valor de cambio. Simplemente deja que un proveedor de servicios se encargue de la carga adicional y no dejes de ser un ser humano pensante, escritor, fotógrafo y social.
- eska
Me doy cuenta de que los scrapers también están usando rangos de IP residenciales a través de SDKs ofrecidos a desarrolladores de apps que añaden puertas traseras para utilizar la conexión para "otras cosas".
¿Alguien puede corroborar esto?
- nightdeployboy
Yo también tengo un pequeño sitio de un proyecto secundario, y recibo cientos de miles de bots visitándolo cada semana...
- yosefk
sirve principalmente páginas estáticas cacheadas por un CDN, y cachea en el lado del servidor las pocas dinámicas que no esperes que reciban muchas visitas, y estarás bien
- Bender
No te rindas. Bloquear, redirigir y aplicar tarpitting a los bots puede convertirse en una especie de juego o rompecabezas divertido. Los bots evolucionan y el juego también debe evolucionar. Ralentizo un poco a los bots residenciales y a los bots obvios los dejo entre 32 y 96 bytes por segundo. Pensé que la mayoría abortaría, pero muchos no lo hacen. Se quedan por ahí esperando el goteo lento.
Aquí solo un ejemplo. Es algo grosero, especialmente para gente legítima detrás de firewalls corporativos, pero esa gente no debería estar en mi sitio de todos modos. Ajústalo según necesites. Es solo un ejemplo tonto.
if ($server_protocol = HTTP/2.0) { set $limit_rate 384k; set $ok 1; }
if ($http3 != "") { set $ok 1; } # no rate limit for quic
if ($ok != 1) { set $limit_rate 32; limit_rate_after 128; set $trace "${trace}not-h2h3 "; add_header Content-Type text/html;return 200 '<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style>body{width:35em;margin:0 auto;font-family:Tahoma,Verdana,Arial,sans-serif;}</style></head><body><h1>Welcome to nginx!</h1><p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p></body></html>'; }
La gente que no está detrás de firewalls fascistas y no está en proxies podrá usar QUIC (mediante la cabecera alt-svc y dns) a toda velocidad. La mayoría de las VPN reales deberían poder usar QUIC.
Esto es solo un ejemplo tonto. Uno puede usar nginx geo en combinación con FireHOL y otros repositorios de IPs de spammers (consolidando con iprange) para también ralentizar o aplicar tarpit o […]