GPT-6 Astra:测试技术终于派上用场
Test/verification technique effectiveness with Astra
在对比 GPT-5.6 Sol 与 GPT-6 Astra 的实测中,我发现后者在 Zstd 和 IMAP 等复杂任务上表现惊人,几乎能一次性达成完美正确率。更关键的是,Astra 真正学会了有效运用测试技术:从生成无价值的随机输入,转变为通过差分测试和属性测试精准挖掘边界条件与深层 Bug。尽管在 Pandoc 等高难度任务上仍有提升空间,但数据表明,随着模型能力跃升,TDD 等传统方法的劣势依然存在,而 ACL2 等验证工具及属性测试开始展现真实价值。这次评估花费约 9 万美元,揭示了 AI 编程代理在测试策略上的实质性进化。
我们看到的不再是测试技术的拙劣模仿,而是代理开始以结构化方式执行模糊测试,真正覆盖代码路径并发现非琐碎的 Bug。
- kooi
不错的文章。这给了我很好的动力去更深入地关注形式化验证。今天正好有那篇关于 Aristotle 的帖子,看起来它是一个基于提示驱动、即插即用的 Lean 验证器。
这让我想到,利用 LLM 辅助生成形式化需求,从而打造我们自己的 "Aristotle" 是可行的。
我正在思考我们在信号处理领域的自有项目。一条不错的路径可能是:自然语言 -> 用于黑白盒运行时测试的时序逻辑规范。
有一些代码生成器可以将形式化逻辑转化为运行时监控器。过去,我从未在玩具示例之外使用过它们,因为实在太冗长了。
> 这篇文章的要点在于证明,在 AI 编程时代,我们依然可以基于证据而非感觉来做决策。
这正是工程师和脚本小子之间的区别。
领域专业知识将永远有价值。
- reedf1
你这里真正厉害的地方在于,开始建立一种智能体模式的分类法。鉴于我们在这个领域几乎全是工程师;我对这里缺乏工程实践感到震惊。人们正在挑选他们觉得直观的模式;出于各种编造的理由,这在初期尚可接受,但我们必须开始客观地衡量它们的性能。必须指出,合理的智能体模式有无穷多种,我们应该将所有模式(从 skills 到 MCP 再到 Audit,等等)都视为可能重蹈 Netscape 覆辙的东西,除非有真正的依据来证明其价值。
- ArtRichards
我使用一种我会称之为 TDD 的技能,但我没能在文章中任何地方找到你所说的 TDD 具体指什么?你是如何提示它使用 TDD 的?为什么效果没那么好?我觉得被点名了 :)