LLMスクレイパーのせいで、自前サイト運営が嫌になった

Running web sites makes me not want to

▲ 79speckx49 HNでの議論
LLMスクレイパーのせいで、自前サイト運営が嫌になった

数年前から自宅サーバーでサイトを運用してきた筆者。LLMスクレイパーの大量アクセスで回線が飽和し、MetaやAzureなどクラウド企業のIP範囲をnftablesで遮断。それでも企業による「合法DDOS」は止まらず、写真サイトを閉鎖して物理ジンのみの販売に切り替えることを検討している。

企業によるウェブのスクレイピングが、創造性の粗悪な模倣品を我々に売り戻すためだけに、ここまで当然の権利のように横行していることが本当に腹立たしい。
原文を読む →HNでの議論RSS

HNでの議論

49
  1. baumschubser

    AIのあらゆる側面の中で、これが一番無視しやすいと思う。AIはあなたの読書を毒するかもしれないが、あなたの書き物を毒してはいけない。なぜ自分のやり方を続けないのか？あらゆる有用性が交換価値として表現されなければならない世界で、この疎外感は新しいものではない。追加の負荷はサービスプロバイダーに任せて、考え、書き、写真を撮り、社会的な人間であり続けるのをやめないでほしい。

  2. eska

    スクレイパーが、アプリ開発者に売り込まれたSDKを通じて、「他のこと」に接続を利用するためのバックドアを追加し、住宅用IP範囲を使っていることも確かに認識している。誰かこれを裏付けられる人はいる？

  3. nightdeployboy

    私も小さなサイドプロジェクトのサイトを運営しているが、毎週何十万ものボットが訪れている。

  4. yosefk

    ほとんどはCDNでキャッシュされた静的ページを配信し、たまにしかヒットしない動的なページはサーバー側でキャッシュしておけば大丈夫だ。

  5. Bender

    諦めないで。ボットをブロックしたり、リダイレクトしたり、ターピット（遅延）させたりするのは、一種の楽しいゲームやパズルにできる。ボットが進化するなら、ゲームも進化しなければならない。私は住宅用ボットをほんの少し遅くし、明らかなボットは毎秒32〜96バイトの間にしている。ほとんどは中止すると思っていたが、多くのボットはそうしない。彼らは遅いドリブルの中に留まっている。

    ほんの一例だ。これは特に企業のファイアウォールの背後にいる正当な人々にとってはちょっと失礼だが、そんな人たちはそもそも私のサイトに来るべきではない。必要に応じて調整してほしい。ただの馬鹿げた例だ。

    if ($server_protocol = HTTP/2.0) { set $limit_rate 384k; set $ok 1; }

    if ($http3 != "") { set $ok 1; } # no rate limit for quic

    if ($ok != 1) { set $limit_rate 32; limit_rate_after 128; set $trace "${trace}not-h2h3 "; add_header Content-Type text/html;return 200 '<!DOCTYPE html><html><head><title>Welcome to nginx!</title><style>body{width:35em;margin:0 auto;font-family:Tahoma,Verdana,Arial,sans-serif;}</style></head><body><h1>Welcome to nginx!</h1><p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p></body></html>'; }

    ファシストのファイアウォールの背後におらず、プロキシを使っていない人々は、QUIC（alt-svcヘッダーとDNS経由）を使って全速度で利用できるはずだ。ほとんどの実際のVPNはQUICを使えるはずだ。

    これはただの馬鹿げた一例に過ぎない。nginx geoとFireHOLや他のスパマーIPリポジトリ（iprangeで統合）を組み合わせて、遅くしたりターピットしたりすることもできる[…]

この日のほかの記事

2026-11-12