익명 크롤러 금지법, 언론과 연구의 핵심 도구를 위협하다
Breaking the open web won't stop the bad bots
미국 의회와 뉴욕주에서 추진 중인 Stealth Bot Prohibition Act와 Stealth Crawler Prohibition Act는 익명 자동 접근을 전면 금지하지만, 정작 서버 과부하나 AI 학습용 대량 수집 같은 실제 피해는 다루지 않는다. 이 글은 월스트리트저널의 퓰리처상 수사, Internet Archive의 Wayback Machine, 장애인 접근성 조사 등 익명 크롤링이 공익에 기여한 사례를 들며, 신원 공개 의무가 표현의 자유를 침해하고 좋은 봇만 위축시킬 뿐 나쁜 봇은 쉽게 회피한다고 지적한다. 대안으로 IETF의 표준화 작업과 피해 행위 기반 책임을 제안한다.
크롤러의 신원을 밝히는 것은 서버로 전송되는 요청 수를 줄이지도 않고, AI 제품 구축에 콘텐츠가 사용된 퍼블리셔에게 보상하지도 않으며, 사용자가 AI 챗봇으로 정보를 찾을 때 퍼블리셔가 잃을 수 있는 추천 트래픽을 복원하지도 않는다.