计算最优不等于集群最优

Compute-Optimal Is Not Cluster-Optimal

传统的缩放定律只关注 FLOPs 预算，却忽略了集群按 GPU-hours 收费的现实。Sheng Zha 与团队提出的 MOSAIC 框架将系统性能纳入模型设计，揭示了在 Sparse MoE 架构中，理论上损失最低的稀疏配置往往在硬件上运行最慢。研究发现，单纯追求 FLOPs 效率会导致不可行的训练方案，而结合硬件约束的联合优化能找到真正的内部最优解。实测数据表明，按硬件时间计费时，性能排名会发生反转，证明计算最优绝非集群最优。