大学図書館がAIボットの大群に襲われ、公共アクセスが危機に
University libraries are being swarmed by AI bots, putting public access at risk
AI企業がLLMの学習データを求めて大学図書館のデジタルアーカイブを執拗にスクレイピングし、サイトの遅延やダウンを引き起こしている。ノースカロライナ大学では1日でフィンランド音楽の検索が1万1000件以上に達した。robots.txtを無視するボットも多く、IP遮断では対処できない。CAPTCHAやログイン必須化は人間のアクセスまで妨げかねず、専門家は公共の知へのアクセスが損なわれると警告する。
「うちの資料はほぼすべてパブリックドメインで、まさに学習に使うべきものだ。ただ、サイトを落とさない敬意あるやり方でやってほしいだけだ」
HNでの議論
53- Bender
LLMボットは一番見つけやすい。レート制限を16kb/s、5秒に1リクエストにすればいい。多言語対応のフレンドリーなWCAGステータス429ページで「速度を落としてください」と伝えるか、ステータス444でnftablesのipsetに放り込んで、それでも攻撃的ならブロックする。設定方法はお気に入りのLLMに聞けばいい。もしそのLLMのセッションが一時停止されたら、GeminiかGrokに聞け。CDNの背後にいるならそう伝えろ。ssl curvesやcipherなどのログを有効にしろ。アクセスログからいくつか例をLLMに見せてやれ。
- blakesterz
まだ理解できないのは、誰がやっているのかということだ。OpenAIやGoogle、Anthropicのような大企業ではないと仮定しているが、そうだろうか？つまり、小さなものがたくさんスクレイピングしていて、それを大企業に売っているのか？それとも、小規模なAIモデルが自分たちのためにスクレイピングしているだけなのか？こうしたものを売買する地下のエコシステムがあるのか？AI企業にとってなぜ価値があるのかはわかるが、これがどう機能しているのか、経済的な仕組みに興味がある。
- londons_explore
ほとんどすべてのAIボットの背後には、私のサイトをスクレイピングすることで実際に利益を得る人間がいる。私はすべてのページをキャッシュしやすく超軽量にしてCloudflareから配信するようにして、ボットには好きにさせている。インターネット上に誰でも見られるように公開したのなら、ボットにも見てほしい。私はボットブロックの反対側にいたこともある。LLMにXを買ってくれと頼んだら、唯一買える場所がブルガリアの売り手しかないと言われた。他のどこもアンチボットスクリプトを導入していたからだ。そのブルガリアのサイトで買い物をした。
- engineer_xyz
小さな規模でも同じことだ。私のサイドプロジェクトのサイトは月に2人くらいしか実際の訪問者がいないが、米国のデータセンターからの0秒の「訪問」が絶え間なく続いている。実際のユーザーがいる図書館にとっては、その負荷はひどいものだろう。
- tokai
11k検索がどこで多いというのか？この話は、AIボットが大学図書館の悪い設定を暴露しているということだ。北ヨーロッパでは、ここで問題が起きているという機関の話は聞いたことがない。