2026-08-29 — views
TTPO 透過非對稱策略優化實現無標籤數學推理
為什麼值得讀 工程師可在測試階段提升 LLM 的推理能力，而無需依賴昂貴或無法取得的真實標籤。
TTPO 利用多數決偽標籤，在無真實標籤資料的情況下，於競賽級數學基準測試中達到與監督學習相當的效能。
無標籤測試時訓練的挑戰
近期在後訓練方法（如強化學習（RL）與在策略自我蒸餾（OPSD））上的進展，已大幅加速大型語言模型在數學推理方面的進步。然而，這些方法通常依賴真實標籤，這使得它們無法應用於缺乏此類標籤的測試時訓練（TTT）情境。一個自然的替代方案是使用多數決偽標籤來取代真實標籤。然而，此方法本質上相當脆弱。若多數決結果錯誤，將污染教師訊號並誤導 rollout 中的每個 token，導致效能下降。
非對稱目標與 Token 級選擇
研究人員觀察到，偽標籤的失敗模式具有非對稱性。與偽標籤不一致的 rollout 通常都是錯誤的，無論該投票本身是否正確。基於此洞察，他們提出了測試時策略優化（TTPO）。此方法採用非對稱目標，透過 OPSD 蒸餾一致的 rollout，同時使用分組 RL 懲罰不一致的 rollout。
為了進一步精煉這些分支，TTPO 實作了 token 級選擇。在蒸餾分支中，該方法會降低已收斂位置的權重。在 RL 分支中，它僅懲罰高置信度的錯誤。這種方法確保即使偽標籤錯誤頻繁，兩次更新仍能保持穩健。此外，隨著模型隨時間改進，多數決路由提供了更緊密的自我監督。
效能與泛化能力
TTPO 在沒有任何標籤的情況下運作，並在五個競賽級基準測試中達到與有標籤監督的 OPSD 相當的效能。在測試時訓練情境中，該方法將 Qwen3-1.7B 的效能從 38.0% 提升至 45.2%。當在不使用思考 token 的情況下應用時，TTPO 帶來了從 +25.2% 到 +36.4% 的改進。該方法還展現出強大的跨任務泛化能力，顯示其在特定數學推理任務之外的潛在效用。
實戰筆記
開發人員應在測試時訓練期間監控多數決偽標籤的穩定性，因為 TTPO 依賴錯誤模式的非對稱性才能有效運作。實作 token 級選擇對於防止模型過度懲罰高置信度錯誤或低估已收斂位置至關重要。此方法為在無法取得真實標籤的環境中增強模型推理能力提供了一條可行的途徑。