GPT-6 Astra:测试技术终于派上用场

Test/verification technique effectiveness with Astra

在对比 GPT-5.6 Sol 与 GPT-6 Astra 的实测中,我发现后者在 Zstd 和 IMAP 等复杂任务上表现惊人,几乎能一次性达成完美正确率。更关键的是,Astra 真正学会了有效运用测试技术:从生成无价值的随机输入,转变为通过差分测试和属性测试精准挖掘边界条件与深层 Bug。尽管在 Pandoc 等高难度任务上仍有提升空间,但数据表明,随着模型能力跃升,TDD 等传统方法的劣势依然存在,而 ACL2 等验证工具及属性测试开始展现真实价值。这次评估花费约 9 万美元,揭示了 AI 编程代理在测试策略上的实质性进化。

我们看到的不再是测试技术的拙劣模仿,而是代理开始以结构化方式执行模糊测试,真正覆盖代码路径并发现非琐碎的 Bug。
  1. kooi

    不错的文章。这给了我很好的动力去更深入地关注形式化验证。今天正好有那篇关于 Aristotle 的帖子,看起来它是一个基于提示驱动、即插即用的 Lean 验证器。

    这让我想到,利用 LLM 辅助生成形式化需求,从而打造我们自己的 "Aristotle" 是可行的。

    我正在思考我们在信号处理领域的自有项目。一条不错的路径可能是:自然语言 -> 用于黑白盒运行时测试的时序逻辑规范。

    有一些代码生成器可以将形式化逻辑转化为运行时监控器。过去,我从未在玩具示例之外使用过它们,因为实在太冗长了。

    > 这篇文章的要点在于证明,在 AI 编程时代,我们依然可以基于证据而非感觉来做决策。

    这正是工程师和脚本小子之间的区别。

    领域专业知识将永远有价值。

  2. reedf1

    你这里真正厉害的地方在于,开始建立一种智能体模式的分类法。鉴于我们在这个领域几乎全是工程师;我对这里缺乏工程实践感到震惊。人们正在挑选他们觉得直观的模式;出于各种编造的理由,这在初期尚可接受,但我们必须开始客观地衡量它们的性能。必须指出,合理的智能体模式有无穷多种,我们应该将所有模式(从 skills 到 MCP 再到 Audit,等等)都视为可能重蹈 Netscape 覆辙的东西,除非有真正的依据来证明其价值。

  3. ArtRichards

    我使用一种我会称之为 TDD 的技能,但我没能在文章中任何地方找到你所说的 TDD 具体指什么?你是如何提示它使用 TDD 的?为什么效果没那么好?我觉得被点名了 :)

同日更多故事

2026-11-17