2026-10-07 — views
Nemotron 모델, IOI 및 IMO에서 금메달급 성능 달성
읽어야 하는 이유 이는 도메인 특화 파인튜닝과 반복적 추론 루프의 결합이 외부 도구 없이도 오픈 가중치 모델을 최상위 경쟁 수준으로 끌어올릴 수 있음을 보여줍니다.
NVIDIA는 Nemotron 모델을 파인튜닝하여 국제정보올림피아드(IOI)와 국제수학올림피아드(IMO) 모두에서 금메달 수준의 결과를 달성했습니다.
Nemotron, 동시 금메달급 성과 달성
NVIDIA 연구진은 Nemotron 모델 계열이 국제정보올림피아드(IOI)와 국제수학올림피아드(IMO)라는 두 가지 서로 다른 고난도 대회에서 금메달 수준의 성능을 달성할 수 있음을 입증했습니다. 2026년 10월 7일 발표된 이 결과는, 감독형 파인튜닝(SFT), 강화학습(RL), 피드백 기반 추론을 통해 세계 수준의 전문가 모델을 구축하기 위한 기반으로서 Nemotron 3의 적응력을 강조합니다.
IOI 2026 성과
IOI 2026를 위해 팀은 총 파라미터 5,500억 개, 활성 파라미터 550억 개를 가진 Nemotron-3-Ultra-CC 모델을 활용했습니다. 이 모델은 감독형 파인튜닝을 거쳤으며, GenCorrect라는 반복적 생성-평가-정제 전략과 결합되었습니다. 시스템은 600점 만점에 535.4점을 획득하여, 금메달 기준선인 361.12점과 최고 인간 점수 498.27점을 모두 상회했습니다. 이 결과는 인간 참가자와 동일한 시간, 인터넷 접근성, 제출 제약 조건 하에서 실시간으로 진행된 전향적 실행에서 도출된 것이지만, 공식 벤치마크는 아닙니다. 이전에 더 작은 Nemotron-3-Nano-CC 모델로 수행한 실험에서는 SFT와 RL이 점수를 크게 향상시켰으며, GenCorrect가 Nano 모델도 금메달 기준선을 넘어설 수 있도록 했음을 보여주었습니다.
IMO 2026 성과
IMO 2026 프로젝트는 엄격한 자연어 증명에 중점을 두었습니다. Nemotron 3 Ultra에서 시작하여 팀은 SFT와 RL을 사용하여 전문가 모델을 훈련했습니다. SFT 코퍼스에는 15,818개의 고유 증명 문제에서 선별된 414,890개의 고품질 예제가 포함되어, 모델이 논증을 구성하고 격차를 식별하며 완전성을 판단하도록 가르쳤습니다. RL 체크포인트는 모델의 능력 한계 근처에 있는 9,597개의 증명 문제에서 훈련되었습니다. 최종 시스템은 이러한 체크포인트를 일반 모델과 결합하여 후보 증명을 생성, 평가, 비판 및 정제했습니다. 공식 증명기나 외부 도구 없이 자연어만으로 작동한 이 시스템은 42점 만점에 30점을 획득하여, 공식 금메달 기준선인 29점을 초과했고 6문제 중 4문제에서 만점을 받았습니다. 이 증명들은 공식 IMO 채점관들에 의해 채점되었습니다.
재사용 가능한 특화 레시피
저자들은 특화를 위한 4단계 레시피를 제시합니다. 강력한 베이스 모델로 시작하여 도메인별 문제와 추론 추세를 선별하고, SFT 및 RL과 같은 사후 훈련 방법을 적용한 후, 답변을 생성, 평가 및 개선하는 추론 루프와 모델을 결합합니다. 이 접근 방식은 적응을 위해 매번 새로운 베이스 모델을 구축할 필요가 없음을 입증합니다. 대신 Nemotron은 특정 작업에 맞게 특화될 수 있습니다.
실무자 노트
개발자는 Hugging Face의 Nemotron Labs IMO 2026 컬렉션과 NeMo-Skills 저장소를 탐색하여 훈련 데이터셋, 체크포인트 및 재현 가능한 추론 파이프라인에 접근해야 합니다. 특화된 체크포인트와 유사한 생성-검증-정제 루프를 구현함으로써 엔지니어들은 엄격한 추론이 필요한 다른 복잡한 도메인에서도 이러한 고성능 결과를 재현할 가능성이 있습니다.