Google 封锁数据，万维网规模难测

The Size of the World Wide Web

WorldWideWebSize.com 网站曾长期追踪万维网的规模，截至 2025 年 1 月 15 日，其统计的 Indexed Web 页面数至少达到 39.8 亿。然而，该网站近日发出警报：自 2025 年 1 月 15 日起，由于 Google 大幅提高了自动抓取数据的难度，导致无法再获取实时数据，因此暂时停止了万维网规模的计算。该网站通过结合 DMOZ 语料库的词频分布与 Google、Bing 等搜索引擎的返回结果，利用 Zipf's Law 进行估算。虽然目前无法更新最新数据，但历史图表仍展示了过去十年间 Google 和 Bing 索引规模的变化趋势。这一数据中断事件，也侧面反映了大型科技公司在数据开放与自动化访问控制上的策略转变。