2026-08-29 — views
TTPOは非対称ポリシー最適化によりラベルなし数学推論を実現
読む理由 エンジニアは、高価または入手困難な正解ラベルに頼らず、テスト時にLLMの推論能力を向上させることができます。
TTPOは多数決による疑似ラベルを用い、正解データなしでコンペティションレベルの数学ベンチマークにおいて教師あり学習と同等の性能を達成します。
ラベルなしテスト時トレーニングの課題
強化学習（RL）やオンポリシー自己蒸留（OPSD）などのポストトレーニング手法の最近の進歩により、大規模言語モデルの数学的推論における進展が大幅に加速しました。しかし、これらのアプローチは通常、正解ラベルに依存しており、そのようなラベルが利用できないテスト時トレーニング（TTT）シナリオでの適用を妨げています。自然な代替案として、正解を多数決による疑似ラベルで置き換える方法があります。しかし、この方法は本質的に脆弱です。多数決が誤っている場合、教師シグナルが汚染され、ロールアウト内のすべてのトークンが誤導され、性能の低下を招きます。
非対称な目的関数とトークンレベルの選択
研究者たちは、疑似ラベルの失敗モードが非対称であることを観察しました。疑似ラベルと一致しないロールアウトは、投票自体が正しくても誤っている場合がほとんどです。この洞察に基づき、彼らはテスト時ポリシー最適化（TTPO）を提案しました。この手法は、一致するロールアウトをOPSDで蒸留し、一致しないロールアウトをグループ化RLで罰する非対称な目的関数を用います。
これらのブランチをさらに洗練させるため、TTPOはトークンレベルの選択を実装しています。蒸留ブランチでは、この手法はすでに収束した位置の重みを下げます。RLブランチでは、自信のあるエラーのみを罰します。このアプローチにより、疑似ラベルのエラーが頻繁に発生する場合でも、両方の更新が適切に根拠づけられることが保証されます。さらに、多数決ルーティングにより、モデルが時間とともに改善するにつれて、より緊密な自己教師あり学習が提供されます。
性能と汎化
TTPOはラベルなしで動作し、5つのコンペティションレベルのベンチマークにおいて、ラベル付き教師ありOPSDの性能に匹敵します。テスト時トレーニングのシナリオでは、この手法はQwen3-1.7Bの性能を38.0%から45.2%に向上させます。思考トークンなしで適用した場合、TTPOは+25.2%から+36.4%の改善をもたらします。この手法はまた、強力なタスク間汎化能力を示しており、特定の数学的推論タスクを超えた潜在的な有用性を示しています。
実装ノート
開発者は、テスト時トレーニング中に多数決による疑似ラベルの安定性を監視する必要があります。TTPOは、効果的に機能するためにエラーパターンの非対称性に依存しているためです。トークンレベルの選択の実装は、モデルが自信のあるエラーを過度に罰したり、収束した位置の重みを過小評価したりすることを防ぐために不可欠です。このアプローチは、正解ラベルにアクセスできない環境でモデルの推論能力を強化するための実行可能な道筋を提供します。