Боты обрушили онлайн-каталоги университетских библиотек, отрезав доступ студентам
University libraries are being swarmed by AI bots, putting public access at risk
Университетские библиотеки по всему миру страдают от нашествия ботов, которые собирают данные для обучения LLM вроде Claude, Gemini и ChatGPT. Сайты замедляются и падают: один университет за день получил более 11 000 запросов о финской музыке с тысяч адресов. Блокировка IP не помогает, а CAPTCHA и логины отсекают и людей. Крупные AI-компании поддержали единый opt-out в robots.txt, но соблюдать его будут добровольно.
«Это очередной пример того, как крупные частные компании используют общественно значимые институты крайне хищнически — просто предполагая, что всё это доступно и бесплатно, — а затем применяют для создания высококоммерческих моделей, которые потом продают людям обратно».
- Bender
LLM-ботов проще всего распознать. Ограничьте их скорость до 16 КБ/с и один запрос каждые 5 секунд. Покажите им дружелюбную многоязычную страницу статуса 429 в соответствии с WCAG, где сказано замедлиться, или статус 444 и сбросьте их в ipsets nftables, если они продолжат вести себя агрессивно. Спросите свою любимую LLM, как это настроить. Если ваша LLM получит паузу сессии, спросите Gemini или Grok. Скажите ей, если вы за CDN. Включите логирование ssl-кривых, шифров и т.д... Покажите своей LLM несколько примеров из ваших логов доступа.
- blakesterz
Чего я до сих пор не понимаю, так это кто это делает? Я предполагаю, что это не крупные компании вроде OpenAI, Google или Anthropic, верно? Значит, есть куча мелких штук, которые занимаются скрейпингом, а потом продают данные крупным игрокам? Или это просто небольшие ИИ-модели, которые скрейпят и используют это для себя? Существует ли подпольная экосистема, где люди покупают и продают это? Я понимаю, почему это ценно для ИИ-компаний, мне любопытно, как всё это работает, экономика всего этого.
- londons_explore
За почти каждым ИИ-ботом стоит человек, который получит реальную выгоду от скрейпинга моего сайта.
Я просто слежу за тем, чтобы все мои страницы были суперлёгкими для кэширования и отдачи через Cloudflare, и позволяю ботам делать то, что они хотят.
Если я выкладываю что-то в интернет на всеобщее обозрение, я хочу, чтобы боты тоже могли это видеть.
Я бывал по другую сторону блокировок ботов — когда я прошу свою LLM купить мне X, а она возвращается и говорит, что единственное место, где можно купить, — это какой-то болгарский продавец, потому что везде в других местах стоят антибот-скрипты, я обязательно делаю заказ у этого болгарского сайта.
- engineer_xyz
То же самое в миниатюре. Мой сайт-сайд-проект получает, может быть, двух реальных посетителей в месяц и постоянный поток «визитов» длительностью 0 секунд из дата-центров США. Для библиотеки с реальными пользователями такая нагрузка, должно быть, просто зверская.
- tokai
В каком мире 11 тысяч поисков — это много? Вся суть этой истории в том, что ИИ-боты обнажают плохую организацию работы университетских библиотек. Я не слышал, чтобы какое-либо учреждение здесь, в Северной Европе, испытывало какие-то проблемы.