2026-09-02 — views
マルチエキスパート学習による200以上のアプリの単一セルフホスト型LLMへの統合
読む理由 多様な内部ワークロード全体で品質を維持しながら、サービングコストを削減するための実用的なブループリント。
企業は、企業タスクでより大きなベースラインに匹敵する単一モデルを訓練することで、断片化されたGPUリソースを統合できます。
断片化の問題
データレジデンシーの制約により、企業は大型言語モデルのセルフホスティングを余儀なくされることがよくあります。しかし、古いモデルを廃止せずに新しいモデルを継続的に採用することで、サービング対象のモデル群が拡大します。この慣行は有限なGPUプールを断片化させ、リソース管理に非効率を生み出します。これに対処するため、最近の研究では、200以上の内部アプリケーションからのトラフィックを単一のモデルに統合するプロセスが詳述されています。その目標は、本番環境のエラー分析を通じて特定された品質のギャップを埋めることで、特に指示追従、関数呼び出し、内部タスク分布という3つの特定の軸に焦点を当てています。
方法論と学習戦略
品質トラッキングは、本番トラフィックに一致するように層別化されたオフラインベンチマークに依存しています。これらのベンチマークは、決定論的な検証器または較正されたLLMジャッジによって採点されます。このアプローチにおける重要なアーキテクチャ上の決定は、すべての目的に対する同時最適化を回避することです。すべての目標を同時に最適化すると、クロスドメインの報酬干渉が発生します。代わりに、チームは3つの軸それぞれに対して個別のGRPOエキスパートを訓練します。これらのエキスパートは、2段階のSLERP手法を使用してマージされます。
各エキスパートの報酬シグナルは、ドメイン固有の修正を必要とする独特の失敗モードを明らかにします。特定された失敗モードには、意味的崩壊、過剰呼び出し、冗長性ハッキングが含まれます。エキスパート訓練段階でこれらの問題を分離することで、最終的なマージモデルは、これらの目的が一緒に最適化される際に発生する負の相互作用を回避します。
パフォーマンスとコスト効率
非推論モードにおいて、結果として得られたレシピは、総パラメータ数が約7倍大きいベースラインモデルを上回ります。社内アレーナでは、統合モデルはベースラインの65.8に対して69.6のスコアを達成しました。指示追従は0.83から0.85に向上し、関数呼び出しのスコアは0.77から0.79に上昇しました。さらに、モデルは一般的な対話ベンチマークも向上させます。実用的な影響は顕著であり、モデルはプラットフォームトラフィックの50%を吸収し、月間1億1,600万リクエストを処理しますが、以前の断片化されたモデル群に関連するサービングコストのわずか一部で済みます。
実装ノート
開発者は、単一の訓練実行で複数の能力を最適化しようとする際に、クロスドメインの報酬干渉を監視すべきです。多様な内部タスク全体で品質を維持するために、冗長性や過剰呼び出しのような異なる失敗モードに対して個別のエキスパートを訓練してからマージすることを検討してください。