Claude Code 团队的验证之道
How the Claude Code team thinks about verification
在 Claude Code 团队,约 90% 的代码由 Claude 编写和审查。要实现这一规模,关键在于构建验证闭环(Verification loops),让智能体能够自我验证工作成果。我们不再依赖单一的人工检查,而是通过 E2E 测试、属性测试和差分测试,让智能体生成并运行测试用例。当验证失败时,Claude 会尝试自动修复,若三次尝试未果则交由人类处理。我们强调代码所有者编写检查规则,且变更不能修改自身的验证标准。通过这种机制,我们能在保持高质量的同时,让数十甚至数百个智能体并行工作,极大提升了开发效率。
验证循环是让你能将更多工作委托给 Claude 的基石。
HN 评论区
176- OtherShrezzing
这篇文章读起来像是拥有无限 token 配额才能写出来的产物。里面包含了一些非常昂贵的做法,而用近乎免费的方法完全可以达到相同甚至更好的效果。
文章中间有一大段,描述了如何通过 skill 文件进行每次变更的验证,并在检查变更是否引入回归时“让 Claude 使用 chrome-for-Claude 工具”。
但已经有工具可以在不消耗 token 的情况下完成这些工作。Playwright 能达到同等质量,且在同一次验证尝试中结果具有确定性。它是“一次编写,多次使用”,边际成本几乎为零。
- tshaddox
如今 Claude Code 被认为是一款可靠的软件吗?
我大约在 9 个月前就停止将其作为日常主力工具了,当时它给人的感觉非常笨重、卡顿,而且似乎经常有 bug 和破坏性的 UI 变更。
如果它已经变得更好,我很乐意听到这个消息!
- asmvolatile
Claude 代码团队根本什么都不想。与 Anthropic 团队互动让人清楚地意识到,那家公司里没人真正懂他们的软件是怎么工作的。
- girvo
> 有了它们,你可以并行运行数十甚至数百个实例。
我仅仅用一两个 agent,每个月就已经花掉了 2000 美元的 token 费用。他们指望我怎么做?
- Narann
我读得越多这类文章,就越意识到 Claude 适合流程原型设计,但你必须用扁平化的代码/脚本/组织来“固化”流程,以降低成本。
AI 的未来实际上应该是能够轻松地进行大规模原型设计,就像 Python 曾经是一种原型语言一样。
- koolba
> 没有人能阅读每一次变更,所以我们用失败作为判断哪些需要人工介入的一种方式。
人类能否或是否应该审查每一个 diff,是一个有意识的项目级决策。我至今还没见过一个项目认为这是不可行的。诀窍在于把事情拆解得足够小,以便你能审查它们。这和你手动进行此类变更时的做法是一样的。神志清醒的人绝不会对数百个文件进行非机械式的变更。
- r0m4n0
软件工程变化的速度令人震惊。我们并不完全清楚什么才是正确或错误的方式。他们分享自己的做法固然很酷,但这可能也是大多数人应该从中吸取的唯一内容。至于这种做法在预算上是否可持续、是否有更好的替代方案、在维护或质量上是否可持续等,目前仍无定论。
- FartyMcFarter
> 不稳定的测试(flaky tests)也会得到同样的对待。Claude 无法跳过它们、添加 sleep 或重试直到通过。如果找不到根本原因,它就会删除该测试并记录原因。
如果测试是隔离的(hermetic),你就应该总能找到根本原因(通过二分法定位测试何时变得不稳定)。
如果测试不是隔离的,你也应该能够识别出导致其不稳定的依赖项,并以此作为理由,判断是否仍有必要删除该测试。