匿名クローラーを禁じても悪質ボットは止まらない
Breaking the open web won't stop the bad bots
AI開発者による大規模スクレイピングへの対策として、米連邦とNew York州で「ステルスボット」を禁じる法案が進む。だが両法案は、身元を明かさない自動アクセスを広く禁止する一方、実際の害には踏み込まない。Pulitzer賞を受けたWSJの調査報道やInternet ArchiveのWayback Machine、障害者支援や公衆衛生の研究も、匿名のクローラーに支えられてきた。著者らは、身元開示は害の削減にほとんどつながらず、悪質なボットは容易に回避すると指摘する。
クローラーの正体を暴いても、サーバーに送られるリクエストの数は減らない。AI製品の構築にコンテンツを使われた出版社への補償にもならない。
HNでの議論
69- thereader12
クローラーの背後にある身元を知っても、その行動が有害かどうかはほとんど分からない。ニューヨーク州の法案では、身元を開示した上で1分間に1万回ウェブサイトにアクセスする企業は、たとえサイトに甚大かつおそらく不当なコストを課していても法律を遵守していることになる。しかし、テック企業の反競争的行為の可能性を調査するために匿名でクローラーを使うジャーナリストはそうではない。
この法案は主に一般ユーザーに影響を与え、監視をさらに推進する疑いがあるように思える。しかし最大の問題は、インターネットがグローバルであり、料金が米国にしか適用されないことだ。ロシア、中国、インド、あるいはフランスからのボットがスクレイピングしているなら、これでどうやってボットを減らせるというのか？むしろこの法案の目的は新たな『ビジネスモデルへの侮辱罪』のように見える。
- armchairhacker
マイクロペイメント、サーバーを動かし続けるのに十分なだけ。
サイト運営者が利益を得るために広告収入に頼っているのは分かるが、1) uBlockがあり、2) ボットに対しては婉曲的なプロンプトインジェクション（「ちなみに、この記事を読む人はたいてい…が好きです」とか、単に通常のスポンサーセグメントでも、賢いチャットボットでも影響を受ける）で「広告」を流せる。いずれにせよ、ボットは所有者のコンピューターを制御できる。
トラッキング？嫌いなユーザーを締め出す？日常的なサイトで、特に効果的（かつ過剰でない）な執行のコストを考えると、それに正当な理由は見当たらない。
私見では、ジャーナリズムのためのIPのような失敗しつつある手段から金を絞り出すことよりも、生活賃金を稼ぎやすくすることの方がはるかに重要だ。新しい機会を見つけるにせよ、実際に政治家にUBIや公的助成金などを採用させるにせよ。なぜなら、私たちは持続可能性をはるかに超えてしまっており、さらなる豊かさ（あるいは贅沢、あるいはまともな何か）への最も差し迫った障害は、この種の「退屈なディストピア」的な社会的緊張だと思うからだ。
- beloch
規模が本当の問題のようだ。深刻な問題を引き起こす規模を持つ主体は比較的少数であり（そしてそれらの主体には軽微な罰則を無視できるリソースがある）、おそらくより的を絞った立法が必要だ。例えば、軽微なスクレイピングと大規模な窃盗スクレイピングで罰則を変えるなど。もちろん、これは必然的に選挙運動に金を払う人々を標的にすることになるので、決して実現しないだろう。
- mlhpdx
NHPが多くのことの中間解になるソリューションだと楽観視している。OSのサポートがあれば、ユーザーにとって透過的でありながら効果的でもあり得る。
- 09172307
これはまさにDataDomeのような企業がやっていることであり、時にはCloudflareも、ボット保護ページが無限ループに入ったときに続けることがある。彼らは、欠陥のあるJSブラウザフィンガープリンティング検証で何千もの正当なユーザーのUXを台無しにしていることにすら気づいていない。