HN에 글 올렸더니, 내 웹사이트가 AI 봇 트래픽으로 뒤덮였다
I posted to HN, and then my website was flooded with AI bot traffic
개발자가 자신이 만든 커스터마이징 가능한 뉴스 리더 sprinklz.io를 Hacker News에 공유한 뒤 사이트가 극도로 느려졌다. 로그를 분석해 보니 트래픽의 절반가량이 단 하나의 사용자, 즉 웹사이트 변경을 감시해 AI 뉴스레터로 요약한다는 서비스에서 발생했다. Claude bot, OpenAI bot, 구글 검색 인덱서 등 알려진 크롤러와 취약점 스캐너까지 뒤섞여 있었다. 결국 robots.txt와 요청 제한을 도입하고 인프라를 개선했다.
이름은 밝히지 않겠지만, 그들을 찾아보니 스스로를 웹사이트의 변경을 감지해 AI 슬롭 뉴스레터로 요약해 주는 서비스라고 소개하고 있었다. 그리고 '변경을 감지한다'는 말은 곧 우리 웹사이트에 분당 수없이 많은 쿼리를 날린다는 뜻이었다.