태그 · #reinforcement-learning

통합 학습 알고리즘, 단계별 파운데이션 모델 파이프라인 대체

읽어야 하는 이유 개발자는 복잡한 다단계 파이프라인을 단일 통합 트레이너로 대체하여 학습 인프라를 단순화할 수 있습니다.

연구진이 파운데이션 모델의 사전 학습, SFT, RL 등 여러 학습 단계를 단일 최대우도 알고리즘으로 통합할 수 있음을 입증했다.

읽어야 하는 이유 본 연구는 멀티모달 코딩을 위한 고품질 학습 데이터의 중요한 격차를 해소하며, 분해된 기준 합성을 통해 독점 시스템에 맞서는 오픈 모델을 제시합니다.

PrismaCoder-9B 및 35B 모델은 새로운 기준 기반 데이터 파이프라인을 활용하여 오픈 멀티모달 코드 지능 벤치마크에서 선도적인 성과를 거두었습니다.

읽어야 하는 이유 이는 도메인 특화 파인튜닝과 반복적 추론 루프의 결합이 외부 도구 없이도 오픈 가중치 모델을 최상위 경쟁 수준으로 끌어올릴 수 있음을 보여줍니다.

NVIDIA는 Nemotron 모델을 파인튜닝하여 국제정보올림피아드(IOI)와 국제수학올림피아드(IMO) 모두에서 금메달 수준의 결과를 달성했습니다.

읽어야 하는 이유 개발자는 값비싼 파인튜닝이나 파라미터 업데이트 없이 모델 정렬과 보상 점수를 개선하여 원래 모델의 기능을 보존할 수 있습니다.

새로운 MISVO 방법은 로컬 KL 기하학을 활용하여 보상 최적화와 생성 품질의 균형을 맞추며, 프리존 언어 모델을 프리로그벡터를 통해 제어합니다.

읽어야 하는 이유 테스트 생성과 코드 수리를 분리하면 오류 일치와 잘못된 자신감을 방지하여 에이전트 신뢰성을 크게 향상시킵니다.

ExecCritic은 SWE-bench Verified에서 코딩 에이전트의 성공률을 높이기 위해 강화 학습을 사용하여 별도의 테스트 및 수리 에이전트를 활용합니다.

읽어야 하는 이유 엔지니어는 비용이 높거나 사용할 수 없는 정답 레이블에 의존하지 않고도 테스트 시점에 LLM의 추론 능력을 향상시킬 수 있습니다.

TTPO는 다수결 의사 레이블을 활용하여, 정답 데이터 없이도 대회 수준 수학 벤치마크에서 지도 학습과 동등한 성능을 달성합니다.