대부분의 사이트는 AI 훈련 크롤러를 차단하지만, 실시간 응답 봇은 무시한다

Sites that block AI training crawlers mostly ignore the answer time bots

2023년 말, OpenAI의 GPTBot 출시와 NYT 소송으로 촉발된 AI 크롤러 차단 열풍은 robots.txt에 '전쟁 기념비'를 남겼다. 상위 10,000개 사이트 중 5,577개의 robots.txt를 분석한 결과, GPTBot 규칙의 38%가 2023년 4분기에 작성되었고, 이후 추가된 규칙은 대부분 훈련 크롤러(ClaudeBot, PerplexityBot 등)에 집중되었다. 그러나 실제로 중요한 것은 답변 시점에 페이지를 가져오는 '응답 시간 봇'이다. 훈련 크롤러를 완전히 차단한 사이트의 50~71%가 응답 봇에 대한 규칙을 전혀 두지 않았고, 명시적으로 허용한 사이트는 2~4%에 불과했다. 포브스와 이코노미스트 같은 예외도 있지만, 대부분의 사이트는 훈련 크롤러 차단에만 몰두한 채 답변 시대의 새로운 규칙을 간과하고 있다.