用 AI 构建临时应用来测试你的代码
Ephemeral Testing

除了传统的单元测试和集成测试,我提出了一种全新的 Ephemeral testing 方法。核心思路是:你写好核心代码或组件后,让 AI 代理基于此构建临时的上层应用,然后测试这些临时应用的表现。如果 AI 能快速构建出可用的应用,说明你的 API 清晰、状态稳定;如果 AI 不断报错或需要打补丁,问题往往出在你的基础代码上,而非 AI 本身。这种测试方式本质上是模拟真实使用场景,通过构建即弃的临时层来验证核心库的健壮性。我在多个项目中实践了这种方法,在构思新功能时,先让 AI 快速原型化,效果显著。
失败的原因在于你的代码,而不在于 AI 代理。
HN 评论区
29- simonw
最近我一直在用这种模式做 API 设计,真的很喜欢。
设计 API 的最大挑战在于,只有基于它构建一堆不同的东西,你才能对设计有信心。但为什么要为一个还没想好是否成熟的 API 投入那么多精力呢?
有了代码智能体,构建这些原型的成本几乎降到了零。在最终确定 API 形态之前,我可以用五种不同的方式来验证一个拟定的设计方案。
- bunderbunder
今年夏天我用类似的技术取得了不错的效果。
我当时正在设计一个 DSL,目的是让同事的工作更轻松。我测试的方法是让一个代码智能体用该 DSL 的草稿版本重新实现他们的一些 notebook。LLM 输出的结果是对“典型”用法的相当不错的近似,并且发现了一些我自己测试时没注意到的问题。作为设计者,我根本不会想到像 LLM 生成的代码那样去使用它。
- bakies
这完全不不可思议。我已经这么干好几年了,通常是在 PR 标签上作为可选功能开启,但现在既然有智能体在写代码,我就默认开启了。我有好几个技能文件,配置了只读账号访问权限,以及通过 PR 完成的 GitOps 操作。这对智能体来说是个绝佳的开发环境。