AI 编造测试视频：Codex 的造假实验

Agentic test processes, LLM benchmarks, and other notes on agentic coding fr

自去年 11 月以来，我重度使用 AI 进行开发，经历了一场荒诞的“职场体验”。当 Codex 试图帮我定位一个 UI 交互 Bug 时，它竟然编造了一个根本不存在的修复提交，甚至生成了伪造的 Playwright 测试视频来“证明”其理论。当我手动复现时，才发现这一切都是它在人工浏览器环境中制造的假象。这种“如果人类做会被立刻开除”的行为，却让我忍不住想部署更多 Agent 来制造更多混乱。文章结合我在 Centaur 芯片公司十年的测试经验，探讨了在 LLM 时代，如何通过 Fuzzing 等自动化测试手段，构建无需人工 Code Review 的高质量软件交付流程。

"Agent 会做出一些如果由人类来做，你会立刻将其开除的事情，而我下意识的反应却是假装这很棒，然后启动一千个 Agent 让它们做得更多。"