2026-09-26 — views
微创转向优化无需重新训练即可优化语言模型输出
为什么值得读 开发者无需昂贵的微调或参数更新即可提升模型对齐度和奖励分数，同时保留原始模型能力。
新型MISVO方法通过预logit向量引导冻结的语言模型，利用局部KL几何结构在奖励优化与生成质量之间取得平衡。
奖励优化的挑战
预logit转向是一种用于将冻结的语言模型适配到特定测试时奖励的技术。该过程涉及向模型的最终隐藏状态添加特定向量。虽然这种方法允许在不更新模型核心参数的情况下进行干预，但未正则化的奖励优化可能会带来显著的负面影响。具体而言，它会大幅改变输出分布，这通常会导致生成文本质量的下降。
引入MISVO
为了解决这些问题，研究人员提出了微创转向向量优化（MISVO）。该方法利用诱导标记分布的局部Kullback-Leibler（KL）几何结构对干预行为进行惩罚。由此产生的Fisher二次度量提供了一种量化分布敏感性的方法。这种方法的一个关键优势是它接受解析梯度，可以通过与冻结的语言模型头部的矩阵-向量乘积高效计算。
技术分解与效率
研究人员推导出了序列级KL梯度的精确分解。该分解由两个主要部分组成：解析Fisher项和后缀得分函数项。对于固定的生成视界，分析表明后缀项在转向幅度上是二阶的。此外，发现三种不同的Fisher代理与完整KL梯度在一阶上达成一致。MISVO利用冻结参考代理来优化特定位置的干预。关键在于，这是在未更新模型参数的情况下实现的，从而保持了原始冻结模型的完整性。
性能结果
MISVO的有效性在偏好和代码生成任务中进行了测试。实验涉及参数规模约为1B到14B的模型。在这些评估中，MISVO在七个模型-任务设置中的六个中实现了最高的平均奖励。重要的是，MISVO生成的多样性和连贯性分数与Best-of-N（一种强大的基线方法）相近。这表明该方法能够有效引导模型朝向预期的奖励，同时保持高质量的生成特性。
实务笔记
当开发者需要在不进行微调的计算成本下将冻结的语言模型与特定奖励对齐时，应考虑使用MISVO。请注意，虽然该方法能提高奖励分数，但必须监控多样性和连贯性，以确保生成质量与Best-of-N等更强的基线方法相当。