2026-08-29 — views
TTPO通过非对称策略优化实现无标签数学推理
为什么值得读 工程师可以在测试时提升大语言模型的推理能力，而无需依赖昂贵或不可用的真实标签。
TTPO利用多数投票伪标签，在无需真实标签数据的情况下，于竞赛级数学基准测试中实现了与有监督学习相当的性能。
无标签测试时训练的挑战
近期，强化学习（RL）和在线策略自蒸馏（OPSD）等后训练方法的进步，显著加速了大语言模型在数学推理方面的进展。然而，这些方法通常依赖于真实标签，这阻碍了它们在测试时训练（TTT）场景中的应用，因为在这些场景中真实标签往往不可用。一个自然的替代方案是用多数投票伪标签来取代真实标签。然而，这种方法本质上很脆弱。如果多数投票结果错误，它会破坏教师信号并误导展开（rollout）中的每个令牌，从而导致性能下降。
非对称目标与令牌级选择
研究人员观察到，伪标签的失效模式是非对称的。与伪标签不一致的展开通常是错误的，无论投票本身是否正确。基于这一洞察，他们提出了测试时策略优化（TTPO）。该方法采用非对称目标，通过OPSD蒸馏一致的展开，同时使用分组RL惩罚不一致的展开。
为了进一步细化这些分支，TTPO实施了令牌级选择。在蒸馏分支中，该方法降低已收敛位置权重。在RL分支中，它仅惩罚高置信度的错误。这种方法确保了即使伪标签错误频繁，两次更新都能保持稳健。此外，随着模型的改进，多数投票路由提供了更紧密的自监督。
性能与泛化能力
TTPO在无标签情况下运行，并在五个竞赛级基准测试上匹配了有标签监督OPSD的性能。在测试时训练场景中，该方法将Qwen3-1.7B的性能从38.0%提升至45.2%。当在不使用思考令牌的情况下应用时，TTPO带来了从+25.2%到+36.4%不等的提升。该方法还展示了强大的跨任务泛化能力，表明其在特定数学推理任务之外具有潜在的实用价值。
实务笔记
开发者应在测试时训练期间监控多数投票伪标签的稳定性，因为TTPO依赖于错误模式的非对称性才能有效运行。实施令牌级选择对于防止模型过度惩罚高置信度错误或低估已收敛位置至关重要。这种方法为在真实标签不可获取的环境中增强模型推理能力提供了一条可行的途径。