Веб-скрейперы вынуждают фотографа отказаться от собственного сайта
Running web sites makes me not want to
Автор, увлечённый самохостингом, рассказывает, как LLM-скрейперы с серверов Meta, Azure и Alibaba завалили его сайты запросами, насытив канал отдачи. Он пробовал Anubis и iocaine, а затем стал блокировать целые диапазоны облачных провайдеров через nftables. В итоге он задумывается о закрытии своего фотоблога и переходе на продажу физических зинов — без цифровых изображений, чтобы его творчество не кормило корпоративные модели.
Меня искренне раздражает, насколько наглым стало корпоративное скрейпингование веба — только чтобы потом продавать нам обратно жалкую имитацию творчества.
- baumschubser
Из всех аспектов ИИ этот мне проще всего игнорировать. ИИ может отравить ваше чтение, но не позволяйте ему отравить ваше письмо. Почему бы не продолжать заниматься своим делом? Это чувство отчуждения не ново в мире, где любая полезность должна выражаться как меновая стоимость. Просто поручите дополнительную нагрузку провайдеру услуг и не переставайте быть мыслящим, пишущим, фотографирующим и социальным человеком.
- eska
Я вполне осознаю, что скрейперы также используют диапазоны резидентных IP-адресов через SDK, которые предлагают разработчикам приложений и которые добавляют бэкдоры, чтобы использовать соединение для «других вещей».
Кто-нибудь может это подтвердить?
- nightdeployboy
У меня тоже есть небольшой сайт-сайд-проект, и каждую неделю его посещают сотни тысяч ботов..
- yosefk
Отдавайте в основном статические страницы, кэшируемые CDN, а редкие динамические, которые, как вы не ожидаете, будут часто запрашиваться, кэшируйте на стороне сервера — и всё будет хорошо.
- Bender
Не сдавайтесь. Блокировку, перенаправление и tar-pitting ботов можно превратить в весёлую игру или своего рода головоломку. Боты эволюционируют, значит, и игра должна эволюционировать. Я немного замедляю резидентных ботов, а очевидных ботов — где-то до 32–96 байт в секунду. Я думал, большинство прервётся, но многие нет. Они торчат там ради этого медленного ручейка.
Вот всего один пример. Это довольно грубо, особенно по отношению к легитимным людям за корпоративными файрволами, но таким людям всё равно не следует быть на моём сайте. Настройте по необходимости. Это просто глупый пример.
if ($server_protocol = HTTP/2.0) { set $limit_rate 384k; set $ok 1; }
if ($http3 != "") { set $ok 1; } # no rate limit for quic
if ($ok != 1) { set $limit_rate 32; limit_rate_after 128; set $trace "${trace}not-h2h3 "; add_header Content-Type text/html;return 200 '<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style>body{width:35em;margin:0 auto;font-family:Tahoma,Verdana,Arial,sans-serif;}</style></head><body><h1>Welcome to nginx!</h1><p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p></body></html>'; }
Люди, не находящиеся за фашистскими файрволами и не использующие прокси, смогут использовать QUIC (через заголовок alt-svc и DNS) на полной скорости. Большинство настоящих VPN должны уметь использовать QUIC.
Это всего лишь один глупый пример. Можно использовать nginx geo в сочетании с FireHOL и другими репозиториями IP-адресов спамеров (объединяя их с помощью iprange), чтобы также замедлять или tar-pit'ить или […]