TIME, AI 봇에게는 광고가 내장된 다른 웹사이트를 제공한다

TIME Is Serving AI Bots a Different Website, with Ads Built In

TIME이 사람과 AI 크롤러에게 서로 다른 버전의 웹사이트를 제공하고 있다. 사람에게는 일반 HTML 페이지를, AI 봇에게는 광고가 포함된 마크다운 버전을 제공한다. 필자는 User-Agent 헤더만 변경해 동일한 기사에 접근해 이를 확인했다. Chrome, Safari, Googlebot은 303KB의 HTML을 받았지만, ClaudeBot, PerplexityBot, OAI-SearchBot은 13KB의 마크다운을 받았다. GPTBot과 ChatGPT-User는 406으로 차단됐다. 마크다운 버전에는 Mobian이라는 광고 기술 업체의 추적 ID가 포함되어 있으며, 'Ally Bank'와 같은 스폰서 FAQ가 사람에게는 보이지 않는 페이지에 삽입되어 있다. 이는 AI 모델을 위한 광고 수익 모델의 새로운 형태로, 검색 엔진 크롤러는 실제 페이지를 보지만 AI 어시스턴트 봇은 별도의 광고 삽입 버전을 보게 된다.