World Wide Webの規模測定が停止：Googleがデータ取得を遮断
The Size of the World Wide Web
WorldWideWebSize.comは、Google、Bing、Yahoo Searchのインデックス規模からWeb全体のページ数を推定している。2025年1月15日以降、Googleが自動データ取得を困難にしたため、新規の計測が不可能になった。過去のデータによると、インデックスされたWebは少なくとも39.8億ページ。推定手法は、DMOZコーパスに基づく単語頻度と検索エンジンのヒット数を組み合わせ、Zipfの法則に従って選ばれた50語を毎日送信する。
ヒューストン、問題が発生しました。2025年1月15日以降、Googleからデータを受信できなくなりました。
HNでの議論
12- xacky
今やウェブの99%はスクレイピングの餌に過ぎない。
- ece
それで、2021年以降の分散の増加はどういうことなんだ？ページの追跡が改善されたとか…
- shevy-java
> 2025年1月15日以降、Googleからデータを受け取ることができなくなった。彼らは検索エンジンから自動的にデータを取得することを非常に困難にしている。
Googleは本当に邪悪になった。この邪悪な会社が早く消え去るほど良い。
その間に、私たちはワールドワイドウェブの新しい変種が必要だと思う。古いものはあまりにも簡単に壊れてしまう。例えば、Googleと、ここに私的なバージョンをインストールしようとする彼らの哀れな試みによって。また、AIのスロップによっても助長されている。計画はここで相互に結びついている。