2026-10-02 — views
AutoSynthData: 기업용 에이전트를 위한 학습 데이터 생성
읽어야 하는 이유 이 시스템은 특정 능력 격차를 타겟팅하여 고품질 합성 데이터를 자동 생성하며, 복잡한 환경에서 에이전트를 파인튜닝하기 위한 확장 가능한 솔루션을 제공합니다.
ServiceNow 연구진은 모델 실패를 검증된 학습 작업으로 변환하는 파이프라인인 AutoSynthData를 소개합니다.
기업용 에이전트의 약점 해결
기업은 고유한 시스템, 규칙 및 데이터 상태에 의해 형성된 특정 환경에서 효과적으로 작동하는 에이전트를 필요로 합니다. 모델이 광범위한 능력을 갖추고 있더라도 특정 워크플로우, 도구 조합 또는 제약 조건에서는 어려움을 겪을 수 있습니다. 주요 과제는 이러한 관찰된 약점을 효과적인 학습 데이터로 변환하는 것입니다. 개별 실패는 제한적인 통찰력만 제공하지만, 모델을 학습하려면 다양한 상황에서 동일한 능력을 활용하는 많은 새로운 작업이 필요합니다. 이러한 작업은 환경에서 완료 가능해야 하며, 실제 사용자 요청과 유사해야 하고, 성공 여부를 검증할 수 있는 신뢰할 수 있는 방법을 포함해야 합니다.
AutoSynthData 파이프라인
ServiceNow CoreAI의 연구진은 능력 격차를 학습 데이터로 변환하기 위해 AutoSynthData를 개발했습니다. 이 시스템은 대상 모델의 실패와 더 강력한 교사의 성공을 활용하여 모델이 다음에 무엇을 학습해야 하는지 결정합니다. 그런 다음 이러한 특정 능력을 활용하는 새로운 작업을 생성하고 검증합니다. 모델이 개선됨에 따라 커리큘럼은 자동으로 여전히 어려운 영역으로 이동합니다. 이 파이프라인은 EnterpriseOps Gym을 사용하여 설명되며, 릴리스된 데이터셋을 활용하여 프로세스를 시연합니다.
유용한 에이전트 작업 정의
에이전트 환경은 관찰 가능한 상태, 수정 가능한 상태, 도구, API 및 상태 전이를 포함하여 에이전트가 작동하는 세계를 정의합니다. 작업은 이 환경 내에서 인스턴스화되며, 시스템 사양, 사용자 프롬프트 및 검증자로 구성됩니다. 시스템 사양은 지침, 정책 및 초기화 상태를 포함한 제약을 정의합니다. 사용자 프롬프트는 사용자의 목표와 제약을 지정합니다. 작업이 학습에 유용하려면 다음 세 가지 속성을 충족해야 합니다: 실행 가능성(유효한 궤적이 존재함을 보장), 현실성(프롬프트가 타당한 사용자 요청과 유사함을 보장), 그리고 난이도(작업이 에이전트의 현재 약점을 드러내야 함).
검증 및 커리큘럼 생성
검증자는 궤적이 작업을 성공적으로 완료했는지 여부를 결정합니다. 이는 프롬프트 및 사양과 일치해야 하며, 잘못된 궤적을 거부할 때 타당하고, 모든 유효한 솔루션을 수용할 때 완전해야 합니다. AutoSynthData는 진단 작업을 사용하여 환경에서 대상 모델을 평가함으로써 실패 패턴을 식별하는 것으로 시작합니다. 더 강력한 교사는 해결 가능한 작업과 성공적인 행동을 특성화하는 데 도움이 됩니다. 이러한 발견은 정제된 능력 사양 카드로 압축됩니다. 생성기는 원래 프롬프트나 검증자 세부 정보를 받지 않고도 이러한 카드를 사용하여 서로 다른 프롬프트, 상태 및 해결 경로를 가진 새로운 작업을 생성합니다.
확장 및 구현
이 시스템은 대상(target) 및 증식(multiply) 두 단계에서 작업을 생성합니다. 대상 단계는 능력 사양에서 핵심 학습 샘플을 생성하며, 여기서 작업자는 병렬로 독립적인 작업을 생성합니다. 각 후보는 수락되기 전에 검증, 실행, 솔버 평가 및 수리를 거칩니다. 증식 단계는 수락된 샘플의 새로운 변형을 생성하여 데이터셋을 확장합니다. 각 변형에는 고유한 사용자 요청, 환경 상태 및 참조 궤적이 있습니다. 증식된 샘플은 다른 증식된 샘플의 시드가 될 수 없으므로, 확장은 검증된 대상 세트에 기반을 둡니다. 구현 세부 사항은 생성 제어를 환경별 실행과 분리합니다. 공유 컨트롤러는 품질과 커버리지를 조정하는 반면, 어댑터는 실행과 검증을 처리합니다. 고품질 합성 데이터는 작업이 실행 가능하고, 솔루션이 작동하며, 검증자가 성공과 실패를 구분할 수 있도록 엄격한 검증을 필요로 합니다.
실무자 노트
개발자는 생성된 모든 작업에 대해 실행 가능성과 정확성을 보장하기 위해 학습 데이터셋에 추가하기 전에 엄격한 검증 루프를 구현해야 합니다. 모델이 개선됨에 따라 커리큘럼의 변화를 모니터링하는 것은 학습 신호의 관련성을 유지하고 중복 데이터 생성을 피하는 데 필수적입니다.