영국 도서관, 웹 아카이빙으로 400만 개 이상의 영국 웹사이트를 보존하다
British Library Legal deposit and web archiving
영국 도서관의 UK Web Archive는 매년 영국 웹사이트의 스냅샷을 수집해 400만 개 이상의 사이트와 수십억 개의 파일을 보존한다. 2023년 중단 이후 플랫폼이 복구되었지만, 현재는 2022년 12월 이전에 아카이빙된 웹사이트만 검색할 수 있고 전체 URL을 입력해야 한다. 대부분의 아카이브는 Legal Deposit Library 열람실에서만 볼 수 있다. 웹 크롤링은 예의 규칙을 준수하며, 로그인 뒤 자료나 사적 그룹 자료, 순수 음향·영상 기록은 수집하지 않는다.
웹 크롤링 소프트웨어는 표준 자동 프로토콜을 사용해 자신을 식별하고, 페이지가 크롤링될 때마다 웹 서버의 요청 로그에 제출되는 'user-agent string' 정보를 통해 퍼블리셔의 웹마스터에게 알린다.