Project Timestamper为Common Crawl打上时间戳

Timestamping a Giant Record of the Web

我们刚刚完成了一项前所未有的工作：为Common Crawl过去18年捕获的3390亿个网页快照全部打上加密时间戳。这些快照构成了人类集体思想的重要记录，总数据量超过10PB。随着AI生成内容能力的提升，如何区分原始数据与篡改、模仿变得至关重要。通过将每个快照的哈希值链式提交至Bitcoin区块链，我们确保了2026年9月26日之后任何修改都可被检测。借助Common Crawl预先分块的哈希结构，我们仅用数周便处理了1.34亿个数据块，并通过OpenTimestamps服务完成批量时间戳认证。如今，验证任意一个快照仅需几秒和几百KB数据，通过我们的验证工具即可一键确认其存在性与完整性。