2026-08-29 — views
TTPO, 비대칭 정책 최적화로 레이블 없이 수학 추론 달성
읽어야 하는 이유 엔지니어는 비용이 높거나 사용할 수 없는 정답 레이블에 의존하지 않고도 테스트 시점에 LLM의 추론 능력을 향상시킬 수 있습니다.
TTPO는 다수결 의사 레이블을 활용하여, 정답 데이터 없이도 대회 수준 수학 벤치마크에서 지도 학습과 동등한 성능을 달성합니다.
레이블 없는 테스트 시점 학습의 과제
강화 학습(RL) 및 온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)와 같은 후학습 방법의 최근 발전은 대규모 언어 모델의 수학 추론 진보를 크게 가속화했습니다. 그러나 이러한 접근법은 일반적으로 정답 레이블에 의존하므로, 해당 레이블이 사용 불가능한 테스트 시점 학습(TTT) 시나리오에 적용하는 것을 막습니다. 자연스러운 대안은 정답을 다수결 의사 레이블로 대체하는 것입니다. 그러나 이 방법은 본질적으로 취약합니다. 다수결이 잘못되면 교사 신호가 손상되어 롤아웃의 모든 토큰을 오도하고, 성능 저하로 이어집니다.
비대칭 목적 함수 및 토큰 수준 선택
연구자들은 의사 레이블의 실패 모드가 비대칭임을 관찰했습니다. 의사 레이블과 일치하지 않는 롤아웃은 투표 자체가 정확하든 아니든 일반적으로 틀립니다. 이 통찰을 바탕으로 그들은 테스트 시점 정책 최적화(Test-Time Policy Optimization, TTPO)를 제안했습니다. 이 방법은 동의하는 롤아웃은 OPSD를 통해 증류하고, 동의하지 않는 롤아웃은 그룹 RL을 사용하여 패널티를 부과하는 비대칭 목적 함수를 사용합니다.
이러한 분기를 더욱 정교하게 만들기 위해 TTPO는 토큰 수준 선택을 구현합니다. 증류 분기에서 이 방법은 이미 수렴한 위치의 가중치를 낮춥니다. RL 분기에서는 오직 자신 있는 오류에만 패널티를 부과합니다. 이 접근법은 의사 레이블 오류가 빈번할 때에도 두 가지 업데이트가 모두 잘 근거를 두고 있음을 보장합니다. 또한, 모델이 시간이 지남에 따라 개선됨에 따라 다수결 라우팅은 더 긴밀한 자기 지도를 제공합니다.
성능 및 일반화
TTPO는 레이블 없이 작동하며, 다섯 가지 대회 수준 벤치마크에서 레이블 기반 지도 OPSD의 성능과 일치합니다. 테스트 시점 학습 시나리오에서 이 방법은 Qwen3-1.7B의 성능을 38.0%에서 45.2%로 향상시킵니다. 사고 토큰 없이 적용할 경우, TTPO는 +25.2%에서 +36.4%에 이르는 개선 효과를 보입니다. 이 방법은 또한 강력한 크로스 태스크 일반화 능력을 보여주어, 특정 수학 추론 작업을 넘어선 잠재적 유용성을 시사합니다.
실무자 노트
개발자는 TTPO가 오류 패턴의 비대칭성에 의존하여 효과적으로 작동하기 때문에, 테스트 시점 학습 중 다수결 의사 레이블의 안정성을 모니터링해야 합니다. 토큰 수준 선택을 구현하는 것은 모델이 자신 있는 오류에 과도한 패널티를 부과하거나 수렴한 위치를 과소 평가하는 것을 방지하는 데 중요합니다. 이 접근법은 정답 레이블에 접근할 수 없는 환경에서 모델의 추론 능력을 향상시키기 위한 실행 가능한 경로를 제공합니다.