Yandex 데이터센터 타격 후 Cloudflare 봇 트래픽 급감
Sudden drop in Cloudflare bot traffic after strike on Yandex datacenter
우크라이나의 연속 공격으로 Yandex의 주요 데이터센터 세 곳이 나흘 만에 오프라인되면서, Cloudflare가 감지한 Yandex발 봇 트래픽이 거의 0%로 떨어졌다. 검색 크롤러뿐 아니라 Yandex Cloud를 통해 제3자 서비스로 흘러나가던 봇 트래픽까지 영향을 받은 것으로 보인다. Hacker News에서는 이것이 단순한 크롤러 중단인지, 아니면 러시아발 봇 활동의 실체가 드러난 것인지를 두고 논쟁이 벌어졌다.
Yandex는 러시아의 Google이다. 당연히 봇이 있을 수밖에 없다. 그게 웹을 색인하는 방식이니까. Google을 오프라인으로 만든다면 그쪽에서 오는 봇 트래픽도 줄어들 것이라고 장담한다!
HN 토론
213- londons_explore
Yandex는 러시아의 Google이다.
당연히 봇도 있겠지... 그게 웹을 인덱싱하는 방법이니까.
만약 Google을 오프라인으로 만든다면 그쪽에서 오는 봇 트래픽도 줄어들 거라고 장담한다!
인덱싱은 아마도 우선순위가 낮은 작업일 테니, 데이터센터 용량의 절반이 오프라인이 되면 봇 트래픽은 50% 이상 줄어들 가능성이 크다.
- throwaw12
누군가는 Bot Traffic 페이지 읽는 법을 배워야 한다.
저건 특정적으로 Yandex 봇(그들의 크롤러와 그들의 DC에서 호스팅되는 다른 앱 포함)으로부터의 트래픽 감소다.
이제 다음의 Bot Traffic과 비교해 보라:
* 러시아: https://radar.cloudflare.com/bots/ru?dateRange=7d
* 유럽: https://radar.cloudflare.com/bots/europe?dateRange=7d
* 전 세계: https://radar.cloudflare.com/bots?dateRange=7d
러시아에서조차 하락은 거의 눈에 띄지 않는다.
이는 마치 "API 요청이 완전히 중단됐다"라고 말하는 것과 같다 (그리고 작은 단서: 오직 당신의 서버에서만, 왜냐하면 당신의 서버가 다운됐으니까)
- timr
이건 Yandex IP 범위에서 오는 봇 트래픽의 비율을 보여주는 게 아닌가?
그렇다면 그 선이 내려가는 게 특별히 놀랍지는 않다.
편집: 맞다. 러시아 전체에 대한 같은 그래프를 보면 discernible한 패턴이 없다:
https://radar.cloudflare.com/bots/ru?dateRange=7d
48시간 보기에도 마찬가지다:
- schleck8
세 번째 공격 이후 Yandex에서 오는 HTTP 트래픽이 ~0%로 떨어졌고, 처음 두 번의 공격으로 이미 저하된 상태였다. 검색 페이지는 여전히 제공되지만 아마도 크롤러는 이제 비활성화된 듯한데, 네트워크 수준에서는 어떤 모습일지 궁금하다
편집: 추가 정보가 있다. 예상대로 가용성 문제가 있다
> 4일 이내에 주요 시설 세 곳이 오프라인이 되면서 Yandex의 장애 조치 메커니즘이 무너졌다[1][8].
> 장애가 Yandex Go(택시), Yandex Pay, 음식 배달, 스마트 홈 플랫폼, 내부 물류, Yandex Cloud에서 호스팅되는 타사 기업 서비스 전반으로 연쇄적으로 확산됐다[2][7]. 문제는 이러한 시스템을 사용하는 인접 국가(벨라루스, 카자흐스탄, 아르메니아, 세르비아)로까지 번졌다[2][7].
편집 2: Yandex Cloud 상태 페이지다. 그들의 GCP/AWS에 해당한다. 전체 컴퓨트 코어가 오프라인이고, 더 심각한 것은 Cloud Backup이다
https://status.yandex.cloud/ru/dashboard
> ru Compute Cloud, ru Kubernetes, ru PostgreSQL, ru ClickHouse, ru MySQL, ru YDB, ru Kafka, ru Application Load Balancer
흥미롭게도 Yandex는 상태 페이지에서 사용자들에게 경쟁사인 Selectel, K2Cloud, VK Cloud로 전환하라고 말한다. 아마 다음 타격을 받을 것이다
- f311a
이 스레드에 이렇게 많은 멍청한 댓글이 있다니 믿을 수 없다.
이것이 보여주는 것은 Yandex 검색 엔진의 크롤링이 하나의 Yandex 데이터센터 ASN에서 중단됐다는 것뿐이다.
여기서 언급된 데이터센터 IP에서 의견/악성 봇을 운영하는 사람은 아무도 없다.
사람들이 정말 생각을 멈춘 건가?
- r721
*AS13238 YANDEX — Yandex LLC에서 Cloudflare 봇 트래픽 급감
UPD Cloudflare 용어집의 봇 트래픽 정의:
>봇 vs. 인간 트래픽
>봇 점수를 기반으로 봇으로 분류된 HTTP 요청과 인간으로 분류된 HTTP 요청의 비율. 봇 점수가 1에서 29 사이인 요청은 자동화 가능성 높음(봇)으로 분류되고, 30 이상인 요청은 인간 가능성 높음으로 분류된다. 자세한 내용은 봇 클래스를 참조하라.
>기본적으로 Radar는 HTML 콘텐츠에 대한 요청의 봇 vs. 인간 트래픽을 보여준다. 이 필터는 API 호출, 자산 요청(이미지, 스크립트, 폰트) 및 기타 기계 대 기계 요청을 제외하여 전통적인 웹 트래픽을 나타내기 위한 것이다.
https://developers.cloudflare.com/radar/glossary/#bot-vs-hum...
- pluc
Cloudflare의 강렬한 완화 조치다
- LiamPowell
모두가 크롤러를 언급하지만, 데이터센터의 ASN에서 오는 대부분의 트래픽은 일반적으로 봇일 수밖에 없지 않나? 인간 트래픽을 생성할 인간이 거기 별로 없으니까?