AI 让形式验证普及,却难证其正确
Formal Verification Is Not Verifiable
AI 确实推动了形式验证的主流化,Claude 甚至为单个项目生成了十亿行 Rocq 代码,Theorem 和 Harmonic 等初创公司也展示了其经济价值。但我认为,形式验证本身并不可验证。测试是可由人类审查的,而形式验证的证明过程往往依赖难以验证的底层模型和定义。随着 AI 将“形式验证软件”的产量提升千倍,我们必须摒弃“形式验证即正确”的模糊概念,转而明确界定哪些属性被证明、哪些组件被信任。软件难免有 Bug,对于贴近用户的“bouba”层软件,我们虽无法证明其完全正确,却能证明大量具体属性。未来,随机测试与形式验证的结合将是关键。
当有人声称他们的系统已经过形式验证时,我并不会因此对系统的正确性感到信心倍增;相反,当有人发现系统中的 Bug 时,我对此相当确信。
HN 评论区
59- Mikhail_Edoshin
如果我们能机械地验证程序是否符合规范,那么合乎逻辑的下一步就是只保留规范,并机械地生成程序。
代码本身就应该看起来像一种逻辑推理,足以让人类验证其步骤。
- mjb
> 对于任何我们可以写成属性测试的一阶全称量化程序属性,我认为我们将能够在二进制层面生成证明,针对那些自身已通过数百万小时测试验证的架构模型。将此扩展到多线程程序、分布式系统、[..] 的挑战,还需要我们在数千名验证工程师和研究人员之间进行数年的工作。
我预计分布式和并发版本会更快到来。事实上,我敢打赌,到 2030 年底,这里提到的单线程软件标准将在非对抗性故障模式下适用于多线程和分布式系统。这比该领域大多数人的预期都要激进得多(我本人最多也只是与该领域相邻),但鉴于进步速度,我认为这实际上是一个相当保守的赌注(真正激进的赌注会是“2027 年 7 月”)。
> 软件或某一层级越“模糊”(bouba),就越难谈论什么构成了它的正确性。我们总是可以谈论某些正确的属性,但在我看来,谈论一种统一的正确性概念是不可能的。
我大体上同意这一点,尽管我认为我们在量化(从而验证)软件的可用性和“外观与感觉”方面会看到比预期更多的进展。风险在于,这可能以“狭隘”的方式发生,迫使所有“正确”的软件看起来和感觉起来都一样,因为 […]
- skybrian
当存在语言规范且所有人都同意使用时,这意味着“这段代码是否应该编译”有明确的含义,“编译器错误”也是如此。
也许拥有一个包含其他理想属性共享规范的通用软件包是可行的方向?从用户的角度来看,该工具应该像 linter 一样工作。
信任将来自何处?对于一个流行的软件项目,信任来自于拥有一个值得信赖的团队来维护它,以及许多人(和机器人)在监督他们。结果就是,有人可以使用 linter 而无需自己进行太多验证。
当然,你也应该能够编写并证明自己的自定义属性,但希望它能建立在共享定义之上。