LLM生成的GPU内核，39.5%其实有缺陷

A Contract-Grade Verifier for LLM-Generated GPU Kernels

目前系统生成GPU内核时，往往只用几个随机输入做简单测试，只要输出接近参考值就判定为正确。但这掩盖了诸多隐患：内核可能返回普通数字而非NaN或无穷大，运行结果不稳定，或在形状变化时崩溃。我们构建了一套合同级验证器，通过12个对抗性门控严格审查。在审计2638个被现有系统判定为正确的机器生成内核时，发现39.5%存在无法容忍的缺陷，62.1%至少违反一项规则。标准测试竟接受了1487个被验证器拒绝的内核。此外，我们还利用该验证器证明了首个原生Blackwell tcgen05训练反向传播在GDN家族中的正确性。数据表明，当前领域内关于内核生成的进展信号远弱于表面数字所示，引入无容忍度的合同验证将填补这一巨大差距。