대학 도서관이 AI 봇 떼에 점령당하고 있다
University libraries are being swarmed by AI bots, putting public access at risk
AI 기업들이 LLM 학습용 콘텐츠를 찾아 나서면서 대학 도서관들이 데이터 스크래핑 봇 떼의 공격을 받고 있다. 사이트가 느려지거나 다운되면서 학생과 연구자, 일반 이용자들의 접근이 막히는 일이 벌어지고 있다. 노스캐롤라이나 대학은 하루에 핀란드 음악 검색이 1만 1,000건 넘게 몰린 사례를 보고했고, 전문가들은 2024년 말부터 북미와 유럽, 오세아니아 전역에서 문제가 악화되고 있다고 말한다. robots.txt를 무시하는 봇들은 수천 개의 IP로 분산 접속해 차단도 어렵다.
이것은 거대한 민간 기업들이 공공의 이익을 위해 존재하는 공공기관을 매우 착취적인 방식으로 이용하는 또 하나의 사례입니다. 그 자료가 그냥 무료로 이용 가능하다고 당연하게 여긴 뒤, 그것으로 고도로 상업적인 모델을 만들어 사람들에게 되파는 것이죠.
HN 토론
53- Bender
LLM 봇은 알아채기가 가장 쉽다. 속도를 16kb/s로 제한하고 5초에 요청 1회로 제한해라. 느려지라는 친절한 다국어 WCAG 상태 429 페이지를 보여주거나, 계속 공격적으로 굴면 상태 444로 응답하고 nftables ipset에 집어넣어라. 어떻게 설정하는지는 네가 좋아하는 LLM에게 물어봐라. 만약 네 LLM 세션이 일시정지되면 Gemini나 Grok에게 물어봐라. CDN 뒤에 있다면 그렇다고 알려줘라. ssl curves, ciphers 등의 로깅을 켜라... 네 액세스 로그에서 예시 몇 개를 LLM에게 보여줘라.
- blakesterz
내가 아직도 이해가 안 되는 건 누가 이걸 하고 있냐는 거다. OpenAI나 Google, Anthropic 같은 대기업은 아니라고 생각하는데, 맞지? 그럼 이걸 스크래핑하는 작은 업체들이 잔뜩 있어서 대기업에 팔아넘기는 건가? 아니면 그냥 더 작은 AI 모델들이 스크래핑해서 자기들끼리 쓰는 건가? 사람들이 이걸 사고파는 지하 생태계가 있는 건가? AI 기업들 입장에서 왜 가치 있는지는 이해하겠는데, 이 모든 게 어떻게 돌아가는지, 그 경제학이 궁금하다.
- londons_explore
거의 모든 AI 봇 뒤에는 내 사이트를 스크래핑해서 실제 이득을 볼 사람이 있다. 나는 그냥 내 모든 페이지를 캐시하기 쉽고 cloudflare에서 서빙하기 쉽도록 아주 가볍게 만들어 두고 봇들이 하고 싶은 대로 하게 둔다. 내가 뭔가를 인터넷에 올려 모두가 볼 수 있게 한다면, 봇들도 그걸 볼 수 있길 바란다. 나도 봇 차단의 반대편에 서 본 적이 있다. 내 LLM에게 X를 사달라고 했더니, 다른 곳은 다 안티봇 스크립트가 있어서 유일하게 구매할 수 있는 곳이 불가리아 판매자라는 답이 돌아왔을 때, 나는 그 불가리아 사이트에 내 비즈니스를 확실히 준다.
- engineer_xyz
아주 작은 규모에서도 똑같다. 내 사이드 프로젝트 사이트는 한 달에 실제 방문자가 아마 두 명 정도인데, 미국 데이터센터에서 오는 0초짜리 "방문"은 끊임없이 들어온다. 실제 사용자가 있는 도서관이라면 그 부하는 끔찍할 것이다.
- tokai
11k 검색이 어느 세상에서 많은 거냐? 이 기사의 요점은 AI 봇들이 대학 도서관의 형편없는 설정을 드러내고 있다는 것이다. 북유럽 쪽에서는 어떤 기관도 문제를 겪는다는 얘기를 들어본 적이 없다.