Anubis:用工作量证明对抗 AI 爬虫
VLC for Unity now supported on Linux
面对 AI 公司疯狂抓取网站导致的服务器瘫痪,Videolan 部署了 Anubis 防护机制。这套方案借鉴了 Hashcash 的思路,利用工作量证明(Proof-of-Work)技术,让单个用户的访问几乎无感,却能让大规模爬虫付出高昂成本。目前这只是一个过渡方案,旨在为开发更精准的浏览器指纹识别技术争取时间,未来希望能自动识别并放行使用现代 JavaScript 的合法用户,无需再展示验证页面。
Anubis 是一种折中方案,旨在让个人访问的额外负载可以忽略不计,但在大规模爬虫层面却能累积成本,使抓取变得昂贵。