2026-11-01 — views
NVIDIA 工程师使用 Nemotron 语音代理打造暴躁海盗屋
为什么值得读 展示了开源小语言模型和实时语音管线如何在本地硬件上创建复杂的低延迟交互式角色。
NVIDIA 工程师利用 Nemotron Voice Agent、Bolt E4B 和 Audio2Face-3D，在单个工作站上构建了交互式鬼屋，展示了开源小语言模型与实时语音管线在本地硬件上创建低延迟角色的能力。
MonsterHouse 概念
NVIDIA 工程师 Rick Grandy 开发了 MonsterHouse，这是一个用于万圣节的交互式投影，其功能相当于一艘被转世为车库门的暴躁老海盗船。该角色会倾听“不给糖就捣蛋”者的声音，用航海式的抱怨回应，并在访客使用“请”和“谢谢”等礼貌用语时变得温和。该系统设计为自包含，运行在一台配备 NVIDIA RTX PRO 6000 Blackwell Max-Q 和 NVIDIA RTX PRO 4000 Blackwell 的单个工作站上。
技术架构
该管线依赖于多个 NVIDIA Nemotron 组件。NVIDIA Nemotron 3 ASR 处理语音转文本转换，而 NVIDIA Nemotron 3.5 Bolt E4B 4GB 则作为对话大脑。这款开源小语言模型因其低计算占用和对本地代理的适用性而被选中。一个基于超过 5,000 次多轮对话训练的 LoRA 适配器塑造了模型的性格。对于语音合成，NVIDIA Magpie TTS Zeroshot 从短参考样本生成音频，而 NVIDIA Audio2Face-3D 则在 Unreal Engine 5 中为角色的嘴部进行动画制作。NVIDIA Nemotron Voice Agent 协调整个工作流。
性能与延迟
为了保持沉浸感，系统优先考虑低延迟。管线会在整个答案生成完毕之前释放可朗读的文本，从而允许鬼屋在句子其余部分仍在处理时就开始说话。使用 Bolt Q4 和 TTS 的语音结束到音频的中位延迟为 1.70 秒，对于缓存响应则降至 0.72 秒。工作负载分布在两个 GPU 上：语言和语音模型管线在 RTX PRO 6000 上运行，而 Unreal Engine 图形和 Audio2Face-3D 在 RTX PRO 4000 上运行。这种分离确保了无论处理负载如何，动画都能保持一致的帧率。
角色设计与动画
视觉设计包括一扇带有锯齿状嘴唇和虚拟火焰效果的木门，由 Autodesk Maya 创建并导出到 Unreal Engine。该角色没有眼睛或眉毛，依靠 Audio2Face-3D 进行表情表达。语音使用零样本条件化，通过参考样本实现深沉、恶魔般的音调。由 LLM 提供的情绪标签控制着从暴躁到愉悦的七种不同情绪。“Sample your Voice”界面允许创作者为不同场景录制特定的情感演绎。
实务笔记
构建实时交互式代理的开发者应考虑使用 Bolt E4B 等带有 LoRA 适配器的小语言模型，以平衡性格与计算限制。将繁重的图形工作负载和语言处理拆分到独立的 GPU 上，对于在实时应用中保持一致的动画帧率至关重要。