AI让软件太安全，执法机构要“go dark”
Going Dark, and the era of law enforcement hacking
刚从Usenix Security回来，我意识到一个反直觉的危机：AI可能让软件变得过于安全。过去十年，执法机构依靠商业漏洞进行渗透，但随着Anthropic的Mythos、OpenAI及Z.ai等模型加速漏洞挖掘，防御方也在用AI快速修补。未来两年，主流软件可能耗尽可远程利用的漏洞，导致U.S. intelligence和law enforcement彻底“go dark”。这反而可能迫使政府要求厂商植入故意后门，最终削弱我们自己的基础设施安全。
我担心AI会让软件变得过于安全，导致U.S. intelligence和law enforcement机构失去大量能力，从而陷入“go dark”的困境。
HN 评论区
238- Animats
值得意识到的是，在电话局实现计算机化之前，电话窃听需要铺设物理线路。当年 Rudi Giuliani 起诉有组织犯罪时，不仅必须铺设物理线路，警方还得为这些昂贵的专线付费。他的特别工作组每年在纽约电话公司（New York Telephone）的窃听费用上就要花掉约一百万美元。
曾有一起案件，执法部门未支付账单，导致被窃听对象的账单上出现了窃听连接记录，致使案件败露。
这直接促成了《协助执法通信法案》（CALEA）的出台，该法案强制要求电话局提供远程窃听功能，且必须预留至少 1% 的线路容量。
回到机电时代，唯一能收集到的通话数据是外拨的拨号脉冲，使用的是“笔式记录器”（pen register）。[1]（维基百科上展示的那台就是我的。那是一件精美的古董黄铜电报技术杰作。它将拨号脉冲记录为短划线，像钟表一样需要手动上发条，配有一把大大的黄铜钥匙。）最高法院允许无需搜查令使用“笔式记录器”的判决，指的就是这些“功能极其有限”的设备。然而，执法部门不断拉伸这一定义，将其扩展到电信公司收集的所有非语音数据。
执法部门仍然想要更多。
- mbroshi
> 在现实世界中，我们很可能会很快触及有用漏洞数量的某种天花板。
这与我感受不符。我看到公司利用 AI 添加了更多草率编写的功能。我在使用软件时遇到的漏洞变多了，而不是变少了。虽然软件可能同时变得更易出错且更安全是合理的，但我怀疑这两者是同向发展而非背道而驰。
我的猜测是，我们利用 AI 在发现并修复_现有_安全问题方面做得更好了，但同时也在以更快的速度增加更多不安全的攻击面。
- Insimwytim
一方面，你有像这样的案例，其中看似拥有庞大且分配得当预算的严肃行动者，雇佣着顶尖技术和顶尖人才，在持续进行对抗；另一方面，则是常规的新闻报道，其中负责安全、拥有 root 权限的负责人多次未能掌握基本技术知识，踩遍了安全最佳实践中“切勿这样做”清单上的每一个雷区，导致所有客户数据被攻陷。
这就像是两个平行的世界，存在于同一时空，却 somehow 互不交叉。
- fitblipper
我一直觉得，当执法部门无法访问加密聊天或软件中未内置后门时，使用“变暗”（going dark）这个标签简直荒谬可笑。当绝大多数房屋、红绿灯以及人们手中都装有监控摄像头，当 Google、Facebook 或其他任何社交平台都在分享大量关于人们社交关联的元数据时，他们到底凭什么说自己是在“变暗”？在这些东西出现之前，他们是怎么破案的？
- Gigachad
我本该担心美国政府或以色列无法黑入每个人的手机吗？
- teravor
我不认为“政府将能够做某事”这一论点最终会站得住脚。在民主国家，我看不到他们如何避免“变暗”。
我们生活在一个政府甚至无法对任何人都能通过下载软件访问的非法毒品市场采取多少行动的世界里。
如果他们通过法律强制要求后门访问并封锁不符合规定的软件，越来越多的人将转向暗网。
如果他们有效地封锁了暗网（在极限情况下，他们将不得不封锁所有加密通信），那么我们将生活在暴政之下。
自由是混乱的。接受这样一个事实：数字犯罪只有在罪犯犯下实质性错误时才能被解决。LLM 将构建罪犯档案，以帮助识别这些错误。
- embedding-shape
> 事实上，这种动态最糟糕的部分在于，这些潜在的新后门最初将主要用于让美国削弱其自身的系统，而这反过来将允许外国对手找到攻击我们通信的新方法。这种蓄意的自毁行为将发生在我们终于学会如何防御自身基础设施的时刻。
我不明白你怎么能一方面主张执法（及情报）机构将强迫他人实施蓄意后门，另一方面又认为每个人都将利用 AI 来发现并修复软件中所有潜在漏洞，从而不再存在任何漏洞。
难道不会有一个 AI 或另一个 AI 检测到这个蓄意后门并报告它吗？因为它看起来和任何其他安全漏洞一样，唯一的区别在于意图？
我尊重作者，所以我觉得我可能是误解了全文的某些内容，而不是我在这个作者比我了解得多的话题上拥有更好的视角。我觉得在“那这又是个什么问题？”之前我都一直在点头称是，但现在我不确定自己是否理解正确了。
- RajT88
让我心碎的是，那些拥有无限预算、聘请了最优秀最聪明人才的政府，必须付出巨大努力才能抓住坏人，甚至可能觉得随意监控全世界并不值得。
想到那些试图为监狱机器提供燃料的人，再也不能轻易找借口把普通公民变成监狱的饲料，我简直欣喜若狂。
伙计们，这真是太让人难过了。