2026-10-28 — views
MuonGS 利用 Gram-Schmidt 投影提升 LLM 預訓練效率
為什麼值得讀 開發者透過改用 MuonGS 可實現更快的收斂速度與更低的最終損失，因為它避免了嚴格範數控制所帶來的探索限制。
新型 MuonGS 最佳化器採用 Gram-Schmidt 投影放寬權重範數限制，提升大型語言模型的驗證困惑度與訓練速度，並透過放寬約束實現更優探索。
嚴格範數控制的限制
在語言模型預訓練中，權重衰減與顯式權重範數限制已被證明能提升最佳化器的效能。然而，關於此種控制為何有效以及需要多大程度的理論理解仍不完整。研究人員利用累積有效學習率（定義為訓練軌跡上標稱學習率除以權重 Frobenius 範數的總和）來分析 Muon 最佳化器中的範數控制。
分析顯示，原始 Muon 僅能產生對數級別的累積，這可能限制探索並解釋其實證上較慢的進展。相比之下，MuonW 與 MuonH 等變體在特定條件下保證至少線性累積。此差異突顯出雖然有界範數控制有益，但對於最佳探索而言可能過於嚴格。
介紹 MuonGS
為解決這些限制，研究人員提出 MuonGS，一種採用 Gram-Schmidt (GS) 投影的最佳化器。此技術移除每個 Muon 更新的徑向分量而不固定權重範數。透過允許足夠緩慢的範數增長，MuonGS 保證比對數最壞情況更快的累積，從而實現限制較少的最佳化器設計。
理論證明顯示，在有界更新方向與常數標稱學習率的情況下，MuonGS 中的權重範數最多與步數的平方根成正比增長。因此，累積有效學習率與總步數的平方根成比例縮放，確保即使在訓練後期也能持續累積。對於平滑且尺度不變的目標函數，MuonGS 也建立了 O(T^-1/2) 的平穩性保證。
實驗結果
預訓練實驗於 160M 與 400M 參數的稠密模型，以及 135M 活躍參數與 1B 總參數的專家混合 (MoE) 模型上進行。結果顯示，在長時間訓練範圍內，MuonGS 達到了比 MuonH 更低的驗證困惑度。值得注意的是，對於稠密模型，與 MuonH 相比，MuonGS 在匹配的驗證損失下提供了估計高達約 15% 的 token 等價加速。
實戰筆記
開發者在預訓練大型模型時，應考慮將標準 Muon 或 MuonH 替換為 MuonGS，以在等效損失水平下 potentially 獲得顯著的加速。監控訓練期間的權重範數增長，因為 MuonGS 依賴於允許範數與步數平方根成正比增長而非保持固定的放寬約束。