세계 웹의 크기 측정이 중단됐다: Google이 데이터를 차단
The Size of the World Wide Web
WorldWideWebSize.com은 Google, Bing, Yahoo 검색 엔진의 색인을 기반으로 웹의 최소 크기를 추정해 왔다. 2025년 1월 15일부터 Google이 자동 데이터 수집을 차단하여 더 이상 크기를 계산할 수 없게 되었다. 현재까지의 마지막 추정치는 약 39.8억 페이지였다. 이 사이트는 50개의 단어를 검색 엔진에 보내어 결과 수와 말뭉치의 단어 빈도를 결합하는 방법을 사용하며, 이는 Tilburg University의 석사 논문 프로젝트에서 비롯되었다.
Google은 검색 엔진에서 데이터를 자동으로 검색하는 것을 매우 어렵게 만들고 있습니다.
HN 토론
12- terrycody
이 데이터는 쓸모없어요. 온라인 페이지 총수는 의미가 없습니다. 최소한 몇 개의 페이지가 있는 살아있는 도메인 총수를 세어야 하고, 또한 트래픽이 있는 도메인 수, 상위 100만, 1000만 도메인 등과 같은 매우 유용한 데이터도 있습니다. 일부 웹사이트에서 이러한 데이터를 찾을 수 있는데, ahrefs.com이 그중 하나입니다.
- vivzkestrel
여기 아주 멍청한 질문이 있습니다. 40억 개의 페이지를 모두 인덱싱하여 벡터 임베딩을 생성하고 새로운 검색 엔진을 만들고 싶다고 가정해 봅시다. 제 AWS 인프라는 어떻게 생겼을까요? S3에 얼마나 많은 스토리지가 필요할까요? 어떤 크기의 EC2 인스턴스가 필요할까요?
- xacky
이제 웹의 99%는 스크래퍼 밥이야기일 뿐이다.