통합 학습 알고리즘, 단계별 파운데이션 모델 파이프라인 대체
읽어야 하는 이유 개발자는 복잡한 다단계 파이프라인을 단일 통합 트레이너로 대체하여 학습 인프라를 단순화할 수 있습니다.
연구진이 파운데이션 모델의 사전 학습, SFT, RL 등 여러 학습 단계를 단일 최대우도 알고리즘으로 통합할 수 있음을 입증했다.
태그 · #pretraining
MuonGS, 그람-슈미트 프로젝션으로 LLM 사전 학습 효율성 향상
읽어야 하는 이유 개발자는 엄격한 노름 제어의 탐색 한계를 피하는 MuonGS로 전환하여 더 빠른 수렴과 더 나은 최종 손실을 달성할 수 있습니다.
새로운 MuonGS 옵티마이저는 그람-슈미트 프로젝션을 적용해 가중치 노름 제약을 완화하고, 대규모 언어 모델의 검증 퍼플렉시티와 학습 속도를 개선합니다.
NVIDIA와 AI4Bharat, 2.8조 토큰의 인디언어 코퍼스 및 오픈 파이프라인 공개
읽어야 하는 이유 이번 공개는 방대하고 검증 가능한 합성 코퍼스와 이를 생성하는 데 사용된 재사용 가능한 도구를 제공하여 인도 언어의 심각한 데이터 부족 문제를 해결합니다.
NVIDIA와 AI4Bharat은 22개 언어를 위한 2.8조 토큰 규모의 인디언어 사전학습 코퍼스와 GPU 가속 데이터 생성 파이프라인을 공개했습니다.
야생 AI 생성 웹 텍스트의 스케일링 법칙은 토큰 가치의 변화를 드러낸다
읽어야 하는 이유 AI 생성 콘텐츠가 웹 코퍼스를 포화시키면서 AI 엔지니어는 인간 데이터에 대한 모델 성능에 영향을 미치는 전학습 전략을 조정해야 한다.
AI 토큰 추가는 초기에는 도움이 되지만 빠르게 인간 텍스트 손실을 초래하여 새로운 스케일링 법칙이 필요함을 연구가 입증했다.
Andrej Karpathy, Anthropic 합류 —— Claude로 Claude의 사전학습을 가속
읽어야 하는 이유 핵심은 채용이 아니라 그 임무다. "Claude로 Claude의 사전학습을 가속한다"는 재귀적 자기개선을 직무기술서로 옮긴 것 —— Recursive Superintelligence가 $650M로 좇는 바로 그 루프가 이제 프런티어 랩 내부에 편성됐다.
OpenAI 공동창업자이자 전 Tesla Autopilot AI 책임자 Andrej Karpathy가 Anthropic 사전학습 팀에 합류(5/19), Nick Joseph 산하. 임무는 Claude로 사전학습 R&D 자체를 가속하는 것.