World Wide Webの規模測定が停止：Googleがデータ取得を遮断

The Size of the World Wide Web

WorldWideWebSize.comは、Google、Bing、Yahoo Searchのインデックス規模からWeb全体のページ数を推定している。2025年1月15日以降、Googleが自動データ取得を困難にしたため、新規の計測が不可能になった。過去のデータによると、インデックスされたWebは少なくとも39.8億ページ。推定手法は、DMOZコーパスに基づく単語頻度と検索エンジンのヒット数を組み合わせ、Zipfの法則に従って選ばれた50語を毎日送信する。