2026-09-26 — views
微侵入式轉向優化語言模型輸出，無需重新訓練
為什麼值得讀 開發人員可在不進行昂貴微調或參數更新的情況下，提升模型對齊度與獎勵分數，同時保留原始模型的能力。
新推出的MISVO方法透過預邏輯向量引導凍結語言模型，利用局部KL幾何在獎勵優化與生成品質間取得平衡，無需更新參數即可提升模型對齊效果。
獎勵優化的挑戰
預邏輯轉向（Pre-logit steering）是一種用於將凍結語言模型適應特定測試時間獎勵的技術。此過程涉及向模型的最終隱藏狀態添加特定向量。雖然這種方法允許在不更新模型核心參數的情況下進行干預，但未正規化的獎勵優化可能會帶來顯著的缺點。具體而言，它會大幅改變輸出分佈，這通常會導致生成文本品質的下降。
引入 MISVO
為了解決這些問題，研究人員提出了微侵入式轉向向量優化（MISVO）。此方法利用誘導詞元分佈的局部克萊納-萊布勒（Kullback-Leibler, KL）幾何結構來對干預行為進行懲罰。產生的費雪二次度量提供了一種量化分佈敏感性的方法。這種方法的一個主要優勢是它允許解析梯度，可以透過與凍結語言模型頭部的矩陣-向量乘積高效計算。
技術分解與效率
研究人員推導出了序列級 KL 梯度的精確分解。該分解由兩個主要部分組成：解析費雪項和後綴得分函數項。對於固定的生成範圍，分析顯示後綴項在轉向幅度上是二階的。此外，發現三種不同的費雪代理與完整 KL 梯度在一階上保持一致。MISVO 利用凍結參考代理來優化特定位置的干預。至关重要的是，這是通過不更新模型參數來實現的，從而保持原始凍結模型的完整性。
性能結果
MISVO 的有效性在偏好和程式碼生成任務中進行了測試。實驗涉及約 1B 到 14B 參數的模型。在這些評估中，MISVO 在七個模型-任務設定中的六個取得了最高的平均獎勵。重要的是，MISVO 生成的多樣性和一致性分數與 Best-of-N（一種強大的基準方法）相近。這表明該方法可以有效地將模型引導至所需的獎勵，同時保持高品質的生成特徵。
實戰筆記
開發人員應在需要將凍結語言模型與特定獎勵對齊，且不想承擔微調計算成本時考慮使用 MISVO。請注意，雖然此方法能提升獎勵分數，但必須監控多樣性和一致性，以確保生成品質與 Best-of-N 等更強的基準方法相當。