NVIDIA Audio2Face-3D
官网简介
Audio2Face-3D 是什么
Audio2Face-3D 是 NVIDIA ACE 体系里音频驱动的面部动画模型与工具集,输入一段语音就能生成对应的口型和面部表演。它解决的是配音之后那句「口型对不上」的活,把逐帧对音素变成一次推理。
它有哪些核心功能
- 音频直接出口型:不用手动对音素,情绪参数还能控制眨眼、眼神与头部微动
- 两种输出:网格形变或 ARKit 标准 Blendshape,写实与风格化人脸都能用
- Maya ACE 插件:支持本地或远程推理,导出关键帧与 FBX
- Blendshape 转换与 Blendweight 导出:方便接进既有的绑定与动画管线
- 引擎互导:通过 Omniverse Connector 对接 Blender、Unreal Engine 与 MetaHuman
- 多路音频输入:一次驱动多个角色的对白,群戏不用一条条排队
适合什么样的团队
数字人 · 虚拟主播 · 游戏 NPC 对白 · 影视预览。要懂引擎与绑定,纯美术出身得先补流程知识。
如何上手
在 NVIDIA ACE 页面申请模型与 SDK,Maya 里装 ACE 插件,导入语音和角色头模,选输出格式跑推理,再导出关键帧进引擎。第一次建议用官方示例角色跑通,确认 Blendshape 命名和目标绑定对得上,再换成自己的模型。
更新动态
最新版本NIM 服务 2.0
以下记录对应 Audio2Face-3D NIM 服务,不代表模型、Maya 插件或 Unreal 插件的同一版本。
| 版本 / 日期 | 更新说明 |
|---|---|
| 2.0 · 官方未注明日期 | 新增混合形状流控制、Multi v3.2扩散模型预设、可选舌部混合形状与GPU求解;移除单向gRPC推理端点。 官方说明 |
| 1.3.16 · 官方未注明日期 | 升级gRPC至1.72,修复混合形状乘数与偏移处理、2.3模型拓扑匹配及依赖安全问题。 官方说明 |
| 1.3.15 · 官方未注明日期 | 新增可选舌部混合形状输出、TLS/mTLS安全通信、Azure/AWS一键部署与自动配置选择。 官方说明 |
| 1.2.0 · 官方未注明日期 | 以可下载NIM提供服务,更新James/Claire/Mark 2.3模型,加入双向gRPC、权重约束及OpenTelemetry。 官方说明 |
Audio2Face-3D NIM微服务版本,不是3.2模型版本或Maya/Unreal插件版本
喜欢这篇内容吗?