2026-09-02 — views
멀티 전문가 훈련을 통한 200개 이상 앱의 단일 셀프호스팅 LLM 통합
읽어야 하는 이유 다양한 내부 워크로드 전반의 품질을 유지하면서 서빙 비용을 절감하기 위한 실용적인 청사진.
기업은 기업 업무에서 더 큰 베이스라인과 동등한 성능을 내는 단일 모델을 훈련하여 분산된 GPU 자원을 통합할 수 있습니다.
단편화 문제
데이터 주재성 제약은 기업이 대규모 언어 모델을 셀프호스팅하도록 강제하는 경우가 많습니다. 그러나 구형 모델을 폐기하지 않고 새로운 모델을 지속적으로 도입하면 서빙 플릿이 확장됩니다. 이러한 관행은 유한한 GPU 풀을 단편화시켜 자원 관리의 비효율성을 초래합니다. 이를 해결하기 위해 최근 연구에서는 200개 이상의 내부 애플리케이션 트래픽을 단일 모델로 통합하는 과정을 상세히 설명합니다. 그 목표는 프로덕션 오류 분석을 통해 식별된 품질 격차를 줄이는 것이며, 지시 따르기, 함수 호출, 내부 작업 분배라는 세 가지 특정 축에 초점을 맞추고 있습니다.
방법론 및 훈련 전략
품질 추적은 프로덕션 트래픽과 일치하도록 층화(offline benchmarks)된 오프라인 벤치마크에 의존합니다. 이러한 벤치마크는 결정론적 검증기 또는 보정된 LLM 심판으로 점수화됩니다. 이 접근 방식의 핵심 아키텍처 결정은 모든 목적에 대한 동시 최적화를 피하는 것입니다. 모든 목표를 동시에 최적화하면 도메인 간 보상 간섭이 발생합니다. 대신, 팀은 세 가지 축 각각에 대해 별도의 GRPO 전문가를 훈련합니다. 이 전문가들은 이 단계 SLERP 방법을 사용하여 병합됩니다.
각 전문가의 보상 신호는 도메인별 해결책이 필요한 고유한 실패 모드를 드러냅니다. 식별된 실패 모드에는 의미론적 붕괴, 과도한 호출, 다변성 해킹이 포함됩니다. 전문가 훈련 단계에서 이러한 문제를 분리함으로써, 최종 병합 모델은 이러한 목표가 함께 최적화될 때 발생하는 부정적 상호작용을 피할 수 있습니다.
성능 및 비용 효율성
비추론 모드에서, 생성된 레시피는 총 매개변수가 약 7배 더 큰 베이스라인 모델을 능가합니다. 자체 개발 아레나에서, 통합된 모델은 베이스라인의 65.8에 비해 69.6의 점수를 달성합니다. 지시 따르기는 0.83에서 0.85로 개선되고, 함수 호출 점수는 0.77에서 0.79로 상승합니다. 또한, 모델은 일반 대화 벤치마크도 향상시킵니다. 실질적인 영향은 상당합니다: 모델은 플랫폼 트래픽의 50%를 흡수하여 월 1억 1,600만 건의 요청을 처리하며, 이전의 단편화된 플릿과 관련된 서빙 비용의 일부만 지출합니다.
실무자 노트
개발자는 단일 훈련 실행에서 여러 기능을 최적화할 때 도메인 간 보상 간섭을 모니터링해야 합니다. 다양한 내부 작업 전반의 품질을 유지하기 위해 병합하기 전에 다변성이나 과도한 호출과 같은 고유한 실패 모드를 위해 별도의 전문가를 훈련하는 것을 고려하십시오.