タグ · #model-steering

侵襲性の低いステアリングは再学習なしで言語モデルの出力を最適化する

読む理由 開発者は、高価なファインチューニングやパラメータ更新を行わずに、モデルの整合性と報酬スコアを改善でき、元のモデルの能力を維持できます。

MISVO手法は、凍結された言語モデルの事前ロジットベクトルを通じてステアリングを行い、局所的なKL幾何学を用いて報酬最適化と生成品質のバランスを取ります。