2026-10-28 — views
MuonGSはグラム・シュミット射影を用いてLLM事前学習の効率を向上
読む理由 厳格なノルム制御による探索の限界を回避するMuonGSへ切り替えることで、開発者はより迅速な収束とより良い最終損失を達成できます。
新しいMuonGSオプティマイザはグラム・シュミット射影を用いて重みノルム制約を緩和し、大規模言語モデルにおける検証パープレキシティと学習速度を向上させます。
厳格なノルム制御の限界
重み減衰と明示的な重みノルム制約は、言語モデルの事前学習におけるオプティマイザの性能向上に寄与することが知られています。しかし、この制御がなぜ有効なのか、またどの程度必要なのかに関する理論的理解は不完全なままでした。研究者らは、学習軌道上における重みのフロベニウスノルムで割った名目上の学習率の和として定義される蓄積有効学習率を用いて、Muonオプティマイザにおけるノルム制御を分析しました。
この分析により、素朴なMuonは対数的にしか蓄積できず、これが探索を制限する可能性があり、経験的に観察されるより遅い進歩を説明することが明らかになりました。一方、MuonWやMuonHのようなバリアントは、特定の条件下で少なくとも線形な蓄積を保証します。この違いは、有界ノルム制御が有益であるものの、最適な探索には過度に制限的である可能性があることを強調しています。
MuonGSの導入
これらの制限に対処するため、研究者らはグラム・シュミット（GS）射影を採用するMuonGSというオプティマイザを提案しています。この手法は、重みノルムを固定することなく、各Muon更新の径方向成分を除去します。ノルムの成長を十分に遅く許容することで、MuonGSは対数的な最悪ケースよりも速い蓄積を保証し、より制限の少ないオプティマイザ設計を可能にします。
理論的な証明により、更新方向が有界で名目上の学習率が一定であれば、MuonGSにおける重みノルムはステップ数の平方根に最大でも比例して成長することが示されています。その結果、蓄積有効学習率は総ステップ数の平方根に比例してスケーリングし、学習の後半段階でも持続的な蓄積を保証します。滑らかなスケール不変な目的関数に対しては、MuonGSはO(T^-1/2)の定常性保証も確立します。
実験結果
事前学習実験は、160Mおよび400Mパラメータの密なモデル、ならびにアクティブパラメータ135M・総パラメータ1BのMixtures of Experts（MoE）モデルを用いて実施されました。結果は、MuonGSが長い学習期間においてMuonHよりも低い検証パープレキシティを達成することを示しています。注目すべき点として、密なモデルでは、MuonHと比較して一致した検証損失において、最大で約15%のトークン等価の高速化が推定されています。
実装ノート
開発者は、同等の損失レベルで大幅な高速化を得る可能性があるため、大規模モデルの事前学習において標準的なMuonまたはMuonHをMuonGSに置き換えることを検討すべきです。MuonGSは、ノルムが固定されたままではなく、ステップ数の平方根に比例して成長することを許容する緩和された制約に依存しているため、学習中の重みノルムの成長を監視してください。