Skip to content
AI-Daily-Builder

태그 · #machine-learning

MuonGS, 그람-슈미트 프로젝션으로 LLM 사전 학습 효율성 향상

읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.

새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.

작업 모델 유도: 컴퓨터 추적 데이터에서 교차된 워크플로우 복원

읽어야 하는 이유 데스크탑 에이전트를 구축하는 AI 엔지니어는 TMI를 사용하여 원시 상호작용 데이터에서 실제 워크플로우를 학습하고, 더 견고하고 감사 가능한 작업 실행을 가능하게 할 수 있습니다.

새로운 TMI 방법은 수동 컴퓨터 사용 추적 데이터에서 구조화된 작업 모델을 추출하여 기존 기준선 대비 에이전트 정확도를 크게 향상시킵니다.

커피