После поста на HN мой сайт заполонили AI-боты
I posted to HN, and then my website was flooded with AI bot traffic
Автор sprinklz.io, кастомизируемого RSS-ридера, после публикации на Hacker News столкнулся с резким замедлением сайта. Анализ логов показал, что почти половина трафика шла от одного сервиса, который каждую минуту опрашивал сайт, чтобы генерировать AI-рассылки. Остальное — известные краулеры вроде Claude bot и OpenAI bot, а также сканеры уязвимостей. Автор добавил robots.txt и rate limiting, но главный вывод — нужно оптимизировать инфраструктуру.
Почти половина нашего трафика приходила от одного конкретного пользователя. Я не буду называть имён, но я посмотрел, и они описывают себя как сервис, который отслеживает изменения на веб-сайте, а затем суммирует их в AI-рассылку.