2026-09-02 — views
通过多专家训练将200多个应用整合到单一自托管LLM上
为什么值得读 一份实用蓝图，旨在在保持多样化内部工作负载质量的同时降低服务成本。
企业可通过训练单一模型来整合碎片化的GPU资源，该模型在企业任务上的表现可与更大的基线模型相媲美，从而有效降低服务成本。
碎片化问题
数据驻留限制通常迫使企业自托管大型语言模型。然而，在不停用旧模型的情况下持续采用新模型，导致服务集群不断扩张。这种做法使有限的GPU池碎片化，造成资源管理效率低下。为了解决这一问题，一项近期研究详细阐述了将来自200多个内部应用的流量整合到单一模型上的过程。其目标是通过生产环境错误分析来缩小质量差距，重点关注三个特定维度：指令遵循、函数调用和内部任务分布。
方法论与训练策略
质量跟踪依赖于分层以匹配生产流量的离线基准测试。这些基准测试使用确定性验证器或经过校准的LLM评审进行评分。该方法中的一个关键架构决策是避免对所有目标进行联合优化。同时优化所有目标会引入跨领域奖励干扰。相反，团队为这三个维度中的每一个训练了一个单独的GRPO专家。然后，这些专家使用两阶段SLERP方法进行合并。
每个专家的奖励信号都揭示了一种独特的失败模式，需要特定领域的修复。识别出的失败模式包括语义崩溃、过度调用和冗长性作弊。通过在专家训练阶段隔离这些问题，最终合并的模型避免了当这些目标一起优化时发生的负面相互作用。
性能与成本效率
在非推理模式下，由此产生的方案超越了总参数量大约大七倍的基线模型。在内部竞技场中，整合后的模型得分为69.6，而基线模型为65.8。指令遵循从0.83提高到0.85，函数调用分数从0.77上升到0.79。此外，该模型还提升了通用对话基准测试。实际影响显著：该模型吸收了平台50%的流量，每月处理1.16亿次请求，其服务成本仅为之前碎片化集群的一小部分。
实务笔记
开发者在尝试在单次训练运行中优化多种能力时，应监控跨领域奖励干扰。在合并之前，考虑为冗长性或过度调用等不同的失败模式训练单独的专家，以在多样化的内部任务中保持质量。