После удара по дата-центру Yandex трафик ботов через Cloudflare упал до нуля
Sudden drop in Cloudflare bot traffic after strike on Yandex datacenter
В обсуждении на Hacker News анализируется резкое падение бот-трафика от Yandex через Cloudflare после атаки на дата-центр. Пользователи отмечают, что Yandex давно не только поисковик, но и облачный провайдер, а его краулеры могли быть отключены из-за сбоя. Приводятся данные Cloudflare о падении HTTP-трафика с AS13238 до почти 0% после третьего удара, а также сообщения о каскадных сбоях в сервисах Yandex.
Мне интересно, как это повлияет на поисковую систему Yandex. Кажется, я читал, что они разделили российскую и .com, но не уверен.
- londons_explore
Yandex — это русский Google.
Конечно, у них есть боты... Именно так и индексируют веб.
Если бы мы отключили Google, я уверен, что трафик ботов от них тоже снизился бы!
Индексация, вероятно, также является низкоприоритетной задачей, так что если половина их мощностей дата-центра отключена, их трафик ботов, вероятно, снижается более чем на 50%.
- throwaw12
Кому-то нужно научиться читать страницу Bot Traffic.
Это падение трафика именно от ботов Yandex (которые включают их краулеры и другие приложения, размещённые в их дата-центре).
Теперь сравните это с Bot Traffic в:
* России: https://radar.cloudflare.com/bots/ru?dateRange=7d
* Европе: https://radar.cloudflare.com/bots/europe?dateRange=7d
* Мире: https://radar.cloudflare.com/bots?dateRange=7d
Падение едва заметно даже в России.
Это как говорить: «API-запросы полностью упали» (и маленькая оговорка: только с вашего сервера, потому что ваш сервер лежит).
- timr
Разве это не показывает процент трафика ботов из диапазона IP-адресов Yandex?
Если так, то не особенно удивительно, что линия падает.
EDIT: да, это так. Посмотрев на тот же график для всей России, не видно никакой discernible закономерности:
https://radar.cloudflare.com/bots/ru?dateRange=7d
то же самое для 48-часового просмотра:
- schleck8
HTTP-трафик от Yandex упал до ~0% после третьего удара, после первых двух ударов он уже деградировал. Интересно, как это выглядит на сетевом уровне, потому что их страница поиска всё ещё работает, но, предположительно, их краулер сейчас неактивен.
Edit: Вот немного больше информации, у них есть проблемы с доступностью, как и следовало ожидать
> Поскольку три из его основных объектов были отключены в течение четырёх дней, механизмы отказоустойчивости Yandex сломались[1][8].
> Сбои каскадом распространились на Yandex Go (такси), Yandex Pay, доставку еды, платформы умного дома, внутреннюю логистику и сторонние корпоративные сервисы, размещённые на Yandex Cloud[2][7]. Проблемы перекинулись на соседние страны, использующие эти системы (Беларусь, Казахстан, Армения, Сербия)[2][7].
Edit 2: Вот страница статуса Yandex Cloud, их эквивалент GCP/AWS. Весь вычислительный ядро отключено, и что ещё хуже, Cloud Backup
https://status.yandex.cloud/ru/dashboard
> ru Compute Cloud, ru Kubernetes, ru PostgreSQL, ru ClickHouse, ru MySQL, ru YDB, ru Kafka, ru Application Load Balancer
Интересно, что Yandex говорит своим пользователям на странице статуса переключиться на конкурентов Selectel, K2Cloud и VK Cloud. Которые, вероятно, будут следующими.
- f311a
Не могу поверить, что в этой ветке так много глупых комментариев.
Всё, что это показывает, — это то, что краулинг из поисковой системы Yandex остановился из одного ASN дата-центра Yandex.
Никто не запускает мнения/вредоносных ботов с IP-адресов дата-центров, о которых здесь упоминают.
Люди вообще перестали думать?
- r721
*Резкое падение трафика ботов Cloudflare из AS13238 YANDEX — Yandex LLC
UPD Определение трафика ботов из глоссария Cloudflare:
>Бот против человеческого трафика
>Процент HTTP-запросов, классифицированных как бот или человек, на основе оценок ботов. Запросы с оценкой бота от 1 до 29 классифицируются как вероятно автоматизированные (бот), в то время как запросы с оценкой 30 и выше классифицируются как вероятно человеческие. Для получения дополнительной информации см. Классы ботов.
>По умолчанию Radar показывает трафик ботов против человеческого для запросов к HTML-контенту. Этот фильтр предназначен для представления традиционного веб-трафика путём исключения вызовов API, запросов ресурсов (изображений, скриптов, шрифтов) и других межмашинных запросов.
https://developers.cloudflare.com/radar/glossary/#bot-vs-hum...
- pluc
Это какая-то интенсивная митигация от Cloudflare
- LiamPowell
Все упоминают краулеры, но разве большая часть трафика из ASN дата-центра обычно не является ботами просто в целом, учитывая, что там не так много людей, чтобы генерировать человеческий трафик?