標籤 · #optimizers

MuonGS 利用 Gram-Schmidt 投影提升 LLM 預訓練效率

為什麼值得讀 開發者透過改用 MuonGS 可實現更快的收斂速度與更低的最終損失，因為它避免了嚴格範數控制所帶來的探索限制。

新型 MuonGS 最佳化器採用 Gram-Schmidt 投影放寬權重範數限制，提升大型語言模型的驗證困惑度與訓練速度，並透過放寬約束實現更優探索。