标签 · #optimizers

MuonGS 利用 Gram-Schmidt 投影提升大语言模型预训练效率

为什么值得读 开发者可通过切换至 MuonGS 实现更快的收敛和更低的最终损失，该优化器避免了严格范数控制带来的探索局限。

新型 MuonGS 优化器采用 Gram-Schmidt 投影放宽权重范数约束，在保持训练速度的同时显著降低大语言模型的验证困惑度，实现更优收敛。