2026-10-28 — views
MuonGS, 그람-슈미트 프로젝션으로 LLM 사전 학습 효율성 향상
읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.
새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.
엄격한 노름 제어의 한계
가중치 감쇠와 명시적인 가중치 노름 제약은 언어 모델 사전 학습에서 옵티마이저 성능을 개선하는 것으로 알려져 있습니다. 그러나 이러한 제어가 왜 도움이 되는지, 그리고 어느 정도가 필요한지에 대한 이론적 이해는 여전히 불완전했습니다. 연구자들은 학습 궤적에 걸쳐 명목 학습률을 가중치의 프로베니우스 노름으로 나눈 합으로 정의되는 누적 유효 학습률을 사용하여 Muon 옵티마이저의 노름 제어를 분석했습니다.
분석 결과, 기본 Muon은 로그 스케일로만 누적될 수 있으며, 이는 탐색을 제한할 수 있고 더 느린 실증적 진행을 설명합니다. 반면, MuonW 및 MuonH와 같은 변형은 특정 조건에서 최소한 선형 누적을 보장합니다. 이러한 차이는 유한 노름 제어가 유익할 수 있지만, 최적의 탐색을 위해서는 너무 제한적일 수 있음을 강조합니다.
MuonGS 소개
이러한 한계를 해결하기 위해 연구자들은 그람-슈미트(GS) 프로젝션을 사용하는 MuonGS라는 옵티마이저를 제안합니다. 이 기법은 가중치 노름을 고정하지 않고 각 Muon 업데이트의 방사형 성분을 제거합니다. 충분히 느린 노름 증가를 허용함으로써, MuonGS는 로그 최악의 경우보다 더 빠른 누적을 보장하여 덜 제한적인 옵티마이저 설계를 가능하게 합니다.
이론적 증명은 업데이트 방향이 유한하고 명목 학습률이 일정할 경우, MuonGS의 가중치 노름이 단계 수의 제곱근에 비례하여 최대 증가함을 보여줍니다. 따라서 누적 유효 학습률은 총 단계 수의 제곱근에 비례하여 증가하며, 학습의 후반 단계에서도 지속적인 누적을 보장합니다. 매끄럽고 스케일 불변인 목적 함수의 경우, MuonGS는 O(T^-1/2)의 정상성 보장을 수립합니다.
실험 결과
사전 학습 실험은 160M 및 400M 파라미터의 밀집 모델과, 활성 파라미터 135M 및 총 파라미터 1B의 전문가 혼합(MoE) 모델에서 수행되었습니다. 결과는 MuonGS가 긴 학습 기간 동안 MuonH보다 낮은 검증 퍼플렉시티를 달성함을 나타냅니다. 주목할 만한 점으로, 밀집 모델의 경우 MuonGS는 MuonH와 동일한 검증 손실에서 최대 약 15%의 토큰 환산 속도 향상을 제공합니다.
실무자 노트
개발자는 대규모 모델을 사전 학습할 때 동일한 손실 수준에서 상당한 속도 향상을 얻을 수 있으므로 표준 Muon 또는 MuonH를 MuonGS로 교체하는 것을 고려해야 합니다. MuonGS는 노름이 고정되지 않고 단계 수의 제곱근에 비례하여 증가하도록 허용하는 완화된 제약에 의존하므로, 학습 중 가중치 노름 증가를 모니터링하십시오.