2026-11-01 — views
NVIDIA 엔지니어, Nemotron 음성 에이전트로 퉁명스러운 해적 집 구축
읽어야 하는 이유 오픈 소스 소형 언어 모델과 실시간 음성 처리 파이프라인을 통해 로컬 하드웨어에서 복잡한 지연 시간의 인터랙티브 캐릭터를 구현할 수 있음을 보여줍니다.
NVIDIA 엔지니어가 Nemotron Voice Agent, Bolt E4B, Audio2Face-3D를 활용해 단일 워크스테이션에서 인터랙티브 유령의 집을 개발했습니다.
MonsterHouse 컨셉
NVIDIA 엔지니어 Rick Grandy는 할로윈용 인터랙티브 프로젝션인 MonsterHouse를 개발했습니다. 이 시스템은 퉁명스러운 노포의 해적선이 차고 문으로 환생한 것처럼 작동합니다. 캐릭터는 트릭 오어 트릿을 하는 아이들의 말을 듣고, 해적 특유의 불평으로 답변하며, 방문자가 “제발”이나 “감사합니다”와 같은 정중한 표현을 사용할 때는 부드럽게 반응합니다. 이 시스템은 NVIDIA RTX PRO 6000 Blackwell Max-Q와 NVIDIA RTX PRO 4000 Blackwell을 장착한 단일 워크스테이션에서 실행되도록 설계되어 독립적으로 작동합니다.
기술 아키텍처
파이프라인은 여러 NVIDIA Nemotron 컴포넌트에 의존합니다. NVIDIA Nemotron 3 ASR은 음성 인식(STT) 변환을 담당하며, NVIDIA Nemotron 3.5 Bolt E4B 4GB는 대화형 브레인으로 기능합니다. 이 오픈 소스 소형 언어 모델은 낮은 컴퓨팅 부하와 로컬 에이전트 적합성 때문에 선택되었습니다. 5,000개 이상의 다중 턴 대화로 학습된 LoRA 어댑터는 모델의 성격을 형성합니다. 음성 합성을 위해 NVIDIA Magpie TTS Zeroshot은 짧은 참조 샘플에서 오디오를 생성하고, NVIDIA Audio2Face-3D는 Unreal Engine 5에서 캐릭터의 입 모양을 애니메이션 처리합니다. NVIDIA Nemotron Voice Agent는 전체 워크플로우를 조율합니다.
성능 및 지연 시간
몰입감을 유지하기 위해 시스템은 낮은 지연 시간을 우선시합니다. 파이프라인은 전체 답변이 생성되기 전에 발화 가능한 텍스트를 릴리스하여, 문장의 나머지가 아직 처리 중일 때 집이 말하기 시작할 수 있도록 합니다. Bolt Q4와 TTS를 사용한 평균 발화 종료부터 오디오 출력까지의 지연 시간은 1.70초이며, 캐시된 응답의 경우 0.72초로 감소합니다. 워크로드는 두 GPU로 나뉘어 실행됩니다: 언어 및 음성 모델 파이프라인은 RTX PRO 6000에서 실행되고, Unreal Engine 그래픽과 Audio2Face-3D는 RTX PRO 4000에서 실행됩니다. 이 분리는 처리 부하와 관계없이 애니메이션의 일관된 프레임 속도를 보장합니다.
캐릭터 디자인 및 애니메이션
시각 디자인은 Autodesk Maya에서 만들어져 Unreal Engine으로 내보내진, 톱니 모양의 입술과 가상 불꽃 효과가 있는 나무 차고 문으로 구성됩니다. 캐릭터는 눈이나 눈썹이 없으며, 표현은 Audio2Face-3D에 의존합니다. 음성은 깊고 악마적인 톤을 달성하기 위해 참조 샘플을 사용한 제로샷 컨디셔닝을 사용합니다. 퉁명스러움부터 기쁨까지 7가지 distinct한 기분은 LLM에서 제공된 감정 태그로 제어됩니다. “Sample your Voice” 인터페이스를 통해 제작자는 다양한 시나리오에 맞는 특정 감정 전달을 녹음할 수 있습니다.
실무자 노트
실시간 인터랙티브 에이전트를 개발하는 개발자는 성격과 컴퓨팅 제약의 균형을 맞추기 위해 LoRA 어댑터가 적용된 Bolt E4B와 같은 소형 언어 모델 사용을 고려해야 합니다. 실시간 애플리케이션에서 일관된 애니메이션 프레임 속도를 유지하려면 무거운 그래픽 워크로드와 언어 처리를 별도의 GPU로 분리하는 것이 중요합니다.