2026-10-28 — views
MuonGS 利用 Gram-Schmidt 投影提升大语言模型预训练效率
为什么值得读 开发者可通过切换至 MuonGS 实现更快的收敛和更低的最终损失，该优化器避免了严格范数控制带来的探索局限。
新型 MuonGS 优化器采用 Gram-Schmidt 投影放宽权重范数约束，在保持训练速度的同时显著降低大语言模型的验证困惑度，实现更优收敛。
严格范数控制的局限性
权重衰减和显式权重范数约束已知能提升语言模型预训练中的优化器性能。然而，关于这种控制为何有效以及需要多少程度的理论理解仍不完整。研究人员利用累积有效学习率分析了 Muon 优化器中的范数控制，该指标定义为标称学习率除以训练轨迹上权重的 Frobenius 范数之和。
分析表明，原始 Muon 仅能实现对数级累积，这可能限制探索并解释其较慢的实证进展。相比之下，MuonW 和 MuonH 等变体在特定条件下保证至少线性累积。这一区别凸显出，虽然有界范数控制有益，但对于最佳探索而言可能过于严格。
引入 MuonGS
为解决这些局限，研究人员提出了 MuonGS，这是一种采用 Gram-Schmidt (GS) 投影的优化器。该技术在不固定权重范数的情况下移除每次 Muon 更新的径向分量。通过允许足够缓慢的范数增长，MuonGS 保证比最坏情况下的对数累积更快的速度，从而支持限制更少的优化器设计。
理论证明表明，在更新方向有界且标称学习率恒定的情况下，MuonGS 中的权重范数最多与步数的平方根成正比增长。因此，累积有效学习率随总步数的平方根缩放，确保即使在训练后期也能持续累积。对于平滑尺度不变目标，MuonGS 还建立了 O(T^-1/2) 的驻点保证。
实验结果
预训练实验在 160M 和 400M 参数的密集模型，以及 135M 激活参数和 1B 总参数的混合专家 (MoE) 模型上进行。结果表明，在长训练周期下，MuonGS 的验证困惑度低于 MuonH。值得注意的是，对于密集模型，在匹配的验证损失下，与 MuonH 相比，MuonGS 提供了估计高达约 15% 的 token 等效加速。
实务笔记
开发人员在预训练大型模型时应考虑用 MuonGS 替换标准 Muon 或 MuonH，以在等效损失水平下潜在获得显著加速。需监控训练期间的权重范数增长，因为 MuonGS 依赖于放宽的约束，允许范数随步数的平方根增长而非保持固定。