タグ · #muon

MuonGSはグラム・シュミット射影を用いてLLM事前学習の効率を向上

読む理由 厳格なノルム制御による探索の限界を回避するMuonGSへ切り替えることで、開発者はより迅速な収束とより良い最終損失を達成できます。

新しいMuonGSオプティマイザはグラム・シュミット射影を用いて重みノルム制約を緩和し、大規模言語モデルにおける検証パープレキシティと学習速度を向上させます。