2026-11-01 — views
NVIDIA 工程師使用 Nemotron 語音代理打造暴躁海盜鬼屋
為什麼值得讀 展示如何透過開源小型語言模型與即時語音管線，在本地硬體上建立複雜且低延遲的互動角色。
NVIDIA 工程師利用 Nemotron Voice Agent、Bolt E4B 與 Audio2Face-3D，於單機工作站打造互動式鬼屋，展現開源小型語言模型與即時語音管線在本地硬體上創造低延遲互動角色的能力。
MonsterHouse 概念
NVIDIA 工程師 Rick Grandy 開發了 MonsterHouse，這是一款用於萬聖節的互動投影，其功能將一艘暴躁的老海盜船轉化為車庫門。該角色會聆聽「不給糖就搗蛋」者的話語，以航海相關的抱怨回應，並在訪客使用「請」和「謝謝」等禮貌用語時變得溫和。該系統設計為自給自足，運行於配備 NVIDIA RTX PRO 6000 Blackwell Max-Q 和 NVIDIA RTX PRO 4000 Blackwell 的單個工作站上。
技術架構
該管線依賴多個 NVIDIA Nemotron 元件。NVIDIA Nemotron 3 ASR 負責語音轉文字轉換，而 NVIDIA Nemotron 3.5 Bolt E4B 4GB 則作為對話大腦。選擇這個開源小型語言模型是因為它的運算佔用低且適合本地代理。一個基於超過 5,000 次多輪對話訓練的 LoRA 適配器塑造了模型的個性。對於語音合成，NVIDIA Magpie TTS Zeroshot 從短參考樣本生成音訊，而 NVIDIA Audio2Face-3D 則在 Unreal Engine 5 中動畫化角色的嘴部動作。NVIDIA Nemotron Voice Agent 協調整個工作流程。
效能與延遲
為了保持沉浸感，系統優先考慮低延遲。管線會在整個答案生成之前釋放可發聲的文字，讓鬼屋可以在句子其餘部分仍在處理時開始說話。使用 Bolt Q4 和 TTS 的語音結束到音訊的中位延遲為 1.70 秒，緩存回應則降至 0.72 秒。工作負載分布在兩張 GPU 上：語言和語音模型管線運行於 RTX PRO 6000，而 Unreal Engine 圖形和 Audio2Face-3D 運行於 RTX PRO 4000。這種分離確保了動畫的幀率穩定，不受處理負載影響。
角色設計與動畫
視覺設計包含一個帶有鋸齒狀嘴唇和虛擬火效的木製車庫門，使用 Autodesk Maya 創建並匯出至 Unreal Engine。該角色沒有眼睛或眉毛，依賴 Audio2Face-3D 進行表情表達。語音使用零樣本條件化與參考樣本以達到深沉、惡魔般的音調。七種不同的情緒，從暴躁到開心，由 LLM 提供的情緒標籤控制。「Sample your Voice」介面允許創作者記錄不同場景的特定情緒表達。
實戰筆記
開發即時互動代理的開發者應考慮使用像 Bolt E4B 這樣的小型語言模型搭配 LoRA 適配器，以平衡個性與運算限制。將沉重的圖形工作負載與語言處理分散到獨立的 GPU 上，對於在即時應用中維持一致的動畫幀率至關重要。