AI 爬虫正吞噬 git.kernel.org 的算力

Creepy Crawlies

我们原本以为开源数据会被高效利用，没想到 AI 爬虫却选择了最愚蠢的方式：不直接克隆仓库，而是逐个渲染 HTML 页面。这导致我们 20% 的 CPU 算力被浪费在只为训练模型而生的垃圾请求上。从简单的 IP 封禁到引入 Anubis 验证码，我们与爬虫的对抗不断升级。如今，数百万个伪装成普通浏览器的请求来自全球各地的住宅 IP，甚至包括你的智能电视。尽管我们不得不关闭部分功能以自保，但开源数据依然免费，只是获取门槛变高了。