2026-09-26 — views
侵襲性の低いステアリングは再学習なしで言語モデルの出力を最適化する
読む理由 開発者は、高価なファインチューニングやパラメータ更新を行わずに、モデルの整合性と報酬スコアを改善でき、元のモデルの能力を維持できます。
MISVO手法は、凍結された言語モデルの事前ロジットベクトルを通じてステアリングを行い、局所的なKL幾何学を用いて報酬最適化と生成品質のバランスを取ります。
報酬最適化の課題
事前ロジット・ステアリングは、凍結された言語モデルを特定のテスト時の報酬に適応させるために使用される技術です。このプロセスには、モデルの最終的な隠れ状態に特定のベクトルを追加することが含まれます。このアプローチはモデルのコアパラメータを更新せずに介入可能ですが、正則化されていない報酬最適化には重大な欠点があります。具体的には、出力分布を大幅に変化させ、それがしばしば生成されたテキストの品質低下につながります。
MISVOの紹介
これらの問題に対処するため、研究者は最小侵襲的ステアリングベクトル最適化（MISVO）を提案しました。この手法は、誘導されるトークン分布の局所的なカルバック・ライブラー（KL）幾何学を利用することで、介入に対してペナルティを課します。得られるフィッシャー二次計量は、分布感度を定量化する方法を提供します。このアプローチの主な利点は、解析的な勾配を許容しており、凍結された言語モデルのヘッドとの行列ベクトル積を通じて効率的に計算できることです。
技術的分解と効率性
研究者は、シーケンスレベルのKL勾配の正確な分解を導出しました。この分解は、解析的なフィッシャー項と接尾辞スコア関数項という2つの主要な部分で構成されます。固定された生成ホライゾンにおいて、分析により接尾辞項がステアリングの大きさを2次で持つことが示されました。さらに、3つの異なるフィッシャー代理変数が、最初の次数において完全なKL勾配と一致することが見つかりました。MISVOは、位置固有の介入を最適化するために、凍結参照代理変数を利用します。重要なのは、モデルパラメータを更新せずにこれを実現し、元の凍結モデルの整合性を維持している点です。
性能結果
MISVOの有効性は、好意（preference）とコード生成タスク across でテストされました。実験には、約1Bから14Bのパラメータを持つモデルが含まれていました。これらの評価において、MISVOは7つのモデル・タスク設定のうち6つで最高の平均報酬を達成しました。重要なのは、MISVOによって生成された多様性スコアと一貫性スコアが、強力なベースライン手法であるBest-of-Nに近いことです。これは、この手法が高品質な生成特性を維持しながら、モデルを望ましい報酬へ効果的にステアリングできることを示しています。
実装ノート
開発者は、ファインチューニングの計算コストなしで凍結された言語モデルを特定の報酬と整合させたい場合に、MISVOの使用を検討すべきです。この手法は報酬スコアを改善しますが、生成品質がBest-of-Nのような強力なベースラインと比較可能なままであることを確保するために、多様性と一貫性を監視することが不可欠であることに注意してください。