2026-09-02 — views
透過多專家訓練將 200 多款應用程式整合至單一自託管 LLM
為什麼值得讀 一份實用藍圖，旨在維持多樣化內部工作負載品質的同時，降低服務成本。
企業可透過訓練單一模型來整合分散的 GPU 資源，使其在企業任務上的表現能媲美規模更大的基準模型。
碎片化問題
資料駐留限制通常迫使企業自託管大型語言模型。然而，持續採用新模型卻未停用舊模型，導致服務集群不斷擴大。這種做法使有限的 GPU 資源池變得碎片化，造成資源管理效率低下。為解決此問題，近期一項研究詳細說明了如何將超過 200 個內部應用程式的流量整合至單一模型。其目標是縮小透過生產環境錯誤分析所發現的品質差距，並專注於三個特定維度：指令遵循、函數呼叫以及內部任務分佈。
方法論與訓練策略
品質追蹤依賴於分層的離線基準測試，以匹配生產流量。這些基準測試使用確定性驗證器或經過校準的 LLM 評審進行評分。此方法中一個關鍵的架構決策是避免對所有目標進行聯合優化。同時優化所有目標會引入跨領域的獎勵干擾。相反地，團隊為這三個維度中的每一個訓練了獨立的 GRPO 專家。這些專家隨後使用兩階段 SLERP 方法進行合併。
每個專家的獎勵信號都暴露出一種需要特定領域修正的獨特失敗模式。已識別的失敗模式包括語義崩塌、過度呼叫以及冗長性作弊。透過在專家訓練階段隔離這些問題，最終合併的模型避免了這些目標共同優化時產生的負面交互作用。
效能與成本效益
在非推理模式下，該配方產生的模型在總參數數量上約為基準模型七倍的情況下，仍超越了後者。在內部 Arena 中，整合後的模型得分為 69.6，而基準模型為 65.8。指令遵循分數從 0.83 提升至 0.85，函數呼叫分數從 0.77 上升至 0.79。此外，該模型還提升了通用對話基準測試的表現。其實際影響顯著：該模型吸收了平台 50% 的流量，每月處理 1.16 億次請求，且服務成本遠低於先前碎片化集群的成本。
實戰筆記
開發人員在嘗試於單次訓練中優化多種能力時，應監控跨領域的獎勵干擾。建議在合併之前，針對冗長性或過度呼叫等不同的失敗模式訓練獨立的專家，以維持多樣化內部任務的品質。