打击坏爬虫？别毁了开放网络
Breaking the open web won't stop the bad bots
近期，超过300名媒体高管推动《Stealth Bot Prohibition Act》，要求自动爬虫必须实名披露身份，旨在遏制AI抓取带来的流量与收入损失。然而，这项法案可能误伤依赖匿名爬虫的调查记者、研究人员和档案馆。从《华尔街日报》揭露政府官员内幕交易的普利策奖报道，到Internet Archive保存万亿网页的历史记录，匿名爬虫是维护公共利益的关键工具。强制实名不仅无法解决服务器过载或版权侵权等实质问题，反而可能因模糊的法律定义阻碍正当的数据收集。真正的解决方案应聚焦于具体有害行为，而非一刀切地剥夺匿名访问权，否则将损害开放网络的根基。
揭开爬虫的真实身份并不能减少它向服务器发送的请求数量，也无法补偿其内容被用于构建AI产品的出版商，更无法挽回因用户转向AI聊天机器人而流失的引荐流量。
HN 评论区
79- thereader12
知道爬虫背后的身份，对于判断其行为是否有害，其实提供的信息非常有限。根据纽约州的这项法案，一家公司只要公开身份，哪怕每分钟访问网站 10,000 次，也算合规，尽管它依然在给网站带来巨大且可能毫无必要的成本。但反过来，一位记者匿名使用爬虫去调查科技公司潜在的垄断行为，却会被视为违规。
这项法案似乎主要针对普通用户，且伴随着越来越多的监控手段，令人怀疑。但最大的问题在于互联网是全球性的，而该费用仅适用于美国。如果爬虫来自俄罗斯、中国、印度，甚至法国，这项法案又该如何减少它们呢？这看起来更像是为了确立一种新的“商业模式蔑视罪”。
- jdw64
如今，抓取机器人和引用垃圾信息（referrer spam）似乎真的非常糟糕。最近，伪装成 aocr.org 的引用垃圾信息正在抓取我主页的每一个角落，作为一个个人网站，这确实是个负担。
- udbhavs
真心请教一下：未来是否会出现一个开放网络的版本，其中所有内容都不受付费墙或身份验证的限制？
文章提到 IETF 正在制定标准以应对拟议的立法和网站运营者的挫败感。几乎任何解决方案都会以牺牲用户便利性和隐私为代价。文中提到了两个有趣的方案：微支付和证明工作量（proof-of-work）。开放网络的未来似乎不太可能落在其中任何一个上。这两者都不方便，但至少任何人都可以使用，甚至可能以保护隐私的方式进行。另一种方案是基于声誉的去中心化身份（例如证明你来自某个 Web 域名或群组），但这似乎对平台来说更不方便，因为可能会出现误报。
与此同时，更糟糕的结果是要求使用经过认证的硬件才能访问网络上的任何内容。媒体公司为了推动对流媒体内容的受控访问，已经实施了这一做法。Netflix 要求设备经过硬件认证才能以 4K 流媒体播放。想象一下未来，你甚至需要这样的设备才能阅读一篇《纽约时报》的文章。
我可以看到对替代方案（例如数字身份）的反对声音，但如果从一开始就构建保护隐私的证明机制，那总比因为我的 Android 手机已 root 就无法查看食谱要好得多。
- 09172307
这正是像 DataDome 这样的公司所做的，有时 Cloudflare 也会继续这样做，当他们的机器人防护页面陷入无限循环时。他们甚至没有意识到，自己故障的 JS 浏览器指纹验证正在破坏成千上万合法用户的体验。
- bsammon
所以……目前这项法案的状态似乎是“已转交委员会”
https://www.congress.gov/bill/119th-congress/house-bill/9915...
很难判断（尤其是考虑到我对当前美国众议院动态的无知），这是否是一个真正可能通过的威胁，还是仅仅是在说：“嘿，看看，竞选捐款人，我提交了这项法案——看，我在乎你们的问题”，实际上并没有通过的意图或希望。
据我所知，congress.gov 网站显示该法案于 7 月下旬提出，当天即转交委员会，此后便再无动静。
我想知道，是否有任何迹象表明最近有推动将其从委员会中提出的举动，这意味着我们应该真正开始关注它？