LWN, 최대 규모 스크래퍼 공격을 견디다: AI 학습 데이터 전쟁의 최전선
An Update on the scraper situation
AI 모델 학습 데이터를 노린 웹 스크래핑 공격이 1년 전보다 더 심해졌다. LWN은 최근 사상 최대 규모의 공격을 받았지만, 방어 체계 덕분에 대부분의 독자는 알아채지 못했다. 공격 트래픽의 상당수는 일반 사용자의 기기를 몰래 이용하는 'residential proxy' 네트워크에서 발생한다. Google이 IPIDEA와 NetNut 같은 대규모 네트워크를 적발했지만, 문제는 계속된다. LWN은 Anubis 같은 도구 대신 사이트 최적화와 비용 절감을 통해 방어하면서, 정당한 검색 엔진과 Internet Archive에 미치는 영향을 최소화하는 전략을 선택했다.
이 공격을 주도하는 업계는 독립 웹사이트의 콘텐츠를 약탈한 뒤 그 사이트를 연기 나는 잔해로 만들어 버리는 데 전혀 개의치 않는 것처럼 보인다. — 그 태도는 지구와 경제에도 그대로 적용된다.