PyTorch：既是参考语言，也是实现语言

PyTorch: A Reference Language

作为 PyTorch 的核心开发者，我近期对 PyTorch 的角色有了全新的认知：它不仅是现代深度学习的通用语言，更扮演着双重角色——既是参考语言，也是实现语言。在规模可控或编译器表现良好时，参考实现可直接用于生产；但随着系统复杂化，我们更倾向于将参考实现作为独立的软件工件，用于验证生产环境实现的正确性。面对 kernel DSLs 的普及和 AI 编码代理的兴起，传统的 autograd 机制在大规模训练中逐渐显露出调试困难和融合优化的局限。新的范式是：保留传统的 PyTorch 代码作为参考实现，利用 LLM 生成显式的前向 - 反向代码进行独立优化，并通过验证器确保两者等价。这种思路巧妙平衡了 Eager 模式的控制力与图级抽象的便利性，让 PyTorch 在前沿训练中继续发挥核心作用。