MuonGS, 그람-슈미트 프로젝션으로 LLM 사전 학습 효율성 향상
읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.
새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.
읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.
새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.