2026-11-01 — views
NVIDIAエンジニアがNemotron音声エージェントで不機嫌な海賊ハウスを構築
読む理由 オープンな小型言語モデルとリアルタイム音声パイプラインにより、ローカルハードウェア上で複雑かつ低遅延のインタラクティブキャラクターを構築できることを示している。
NVIDIAエンジニアがNemotron Voice Agent、Bolt E4B、Audio2Face-3Dを使用し、単一のワークステーションでインタラクティブな幽霊屋敷を作成した。
モンスターハウスのコンセプト
NVIDIAエンジニアのRick Grandy氏は、ハロウィン向けのインタラクティブなプロジェクションである「MonsterHouse」を開発した。これは、ガレージのドアに生まれ変わった不機嫌な古い海賊船として機能する。このキャラクターはトリック・オア・トリートの参加者の声に耳を傾け、海らしい愚痴で返答し、「Please」や「Thank you」などの丁寧なフレーズが使われると態度を和らげる。このシステムは、NVIDIA RTX PRO 6000 Blackwell Max-QとNVIDIA RTX PRO 4000 Blackwellを搭載した単一のワークステーションで動作するよう、自己完結型として設計されている。
技術アーキテクチャ
パイプラインは、複数のNVIDIA Nemotronコンポーネントに依存している。NVIDIA Nemotron 3 ASRが音声からテキストへの変換を担当し、NVIDIA Nemotron 3.5 Bolt E4B 4GBが会話の頭脳として機能する。このオープンな小型言語モデルは、計算フットプリントが小さく、ローカルエージェントに適しているため選択された。5,000件以上のマルチターン会話で訓練されたLoRAアダプターが、モデルのパーソナリティを形成する。音声合成には、NVIDIA Magpie TTS Zeroshotが短い参照サンプルから音声を生成し、NVIDIA Audio2Face-3DがUnreal Engine 5でキャラクターの口をアニメーションさせる。NVIDIA Nemotron Voice Agentがワークフロー全体を統括する。
パフォーマンスと遅延
没入感を維持するため、システムは低遅延を優先する。パイプラインは、回答全体が生成される前に話せるテキストを出力し、文の残りの部分が処理されている間にハウスが話し始められるようにする。Bolt Q4とTTSを用いた、音声終了から音声出力までの中央値遅延は1.70秒であり、キャッシュされた応答では0.72秒まで短縮される。ワークロードは2つのGPUに分散されている。言語モデルと音声モデルのパイプラインはRTX PRO 6000で動作し、Unreal EngineのグラフィックスとAudio2Face-3DはRTX PRO 4000で動作する。この分離により、処理負荷に関係なくアニメーションのフレームレートが一貫して保たれる。
キャラクターデザインとアニメーション
視覚デザインは、Autodesk Mayaで作成されUnreal Engineへエクスポートされた、ギザギザの唇と仮想の炎エフェクトを備えた木製のガレージドアである。キャラクターには目や眉がなく、表情はAudio2Face-3Dに依存している。音声は、深く悪魔的なトーンを実現するために、参照サンプルを用いたゼロショット条件付けを使用している。不機嫌から喜びまで、7つの異なる気分は、LLMによって提供される感情タグによって制御される。「Sample your Voice」インターフェースにより、作成者は異なるシナリオ用の特定の感情的な話し方を録音できる。
実装ノート
リアルタイムのインタラクティブエージェントを開発する開発者は、パーソナリティと計算リソースの制約のバランスを取るために、LoRAアダプターを備えたBolt E4Bのような小型言語モデルの使用を検討すべきである。重いグラフィックワークロードと言語処理を別々のGPUに分割することは、リアルタイムアプリケーションで一貫したアニメーションフレームレートを維持するために不可欠である。