Muon优化器为何让Transformer训练崩溃？

From Muon to Gradient Clipping: Some Thoughts on QK Stability

Muon优化器凭借函数空间更新理念在Kimi K2中表现亮眼，却在与Transformer的QK权重结合时遭遇训练崩溃。本文深入剖析了Muonsign函数导致的全秩更新特性，揭示了其如何与注意力机制的双线性结构发生几何冲突，引发谱范数爆炸。作者尝试从约束注意力分数矩阵变化的角度重构优化目标，记录了从理论推导到工程落地的曲折探索，为理解QK稳定性提供了全新视角。

"理论的优雅在实践中撞上了南墙。"