几十年来，玩家通过虚拟形象、角色创建器、装饰品和皮肤来定制他们在虚拟世界中的外观。下一个前沿可能是他们如何发声。

基于 AI 的语音技术的进步正在迅速将语音从简单的交流工具转变为在线身份的新层次。无论是在多人游戏中角色扮演、建立主播形象、改善无障碍访问，还是仅仅表达个性，实时语音转换正在成为人们在数字空间中展现自我的越来越重要的部分。

处于这一转变中心的是像 Voicemod 这样的公司，它们已从传统的变声软件发展为专注于直接在消费硬件上运行 AI 驱动的语音体验的平台。在这次采访中，Voicemod CEO Jaime Bosch 讨论了现代 AI 语音转换背后的技术基础、本地 AI 处理日益增长的重要性，以及与高通等公司的合作如何帮助改造复杂的语音模型。

Voicemod 常被描述为一个实时 AI 语音平台。从技术角度来看，这些语音转换实际上是如何实现的？AI 与传统音频处理相比扮演了什么角色？

Voicemod CEO Jaime Bosch： 我们的旅程始于数字信号处理（DSP），它对于实时应用滤波器并修改现有语音非常有效。AI 则更进一步，允许我们改变音色、语音的基本特征或“DNA”，而不仅仅是在其上叠加效果。这使用户对其音频身份有了更多控制。DSP 在我们的音效设计层中仍然扮演着重要角色，因为它轻量、可靠，并且非常适合许多实时用例。

您强调了在 NPU 和本地硬件上直接运行语音转换。对于可能不熟悉的开发者来说，“设备端 AI”在实践中究竟意味着什么？它与基于云的语音处理有何不同？

Jaime Bosch： 设备端 AI 意味着所有推理都在用户本地机器上执行，而不是发送到云端。在实践中，这消除了往返延迟，避免了对网络连接的依赖，并保护了语音数据的隐私。对于语音等实时系统，这些差异至关重要，因为即使是微小的延迟或性能波动也会破坏体验。

实时语音转换对延迟和性能提出了严格限制。系统如何在保持低延迟的同时，实现富有表现力且高质量的语音变化？

Jaime Bosch： 我们从模型架构到音频缓冲和处理方式，围绕实时约束设计整个管线。模型经过优化，可严格按时序预算运行非常小的音频帧。结果是转换感觉即时，同时仍保持清晰度和表现力。

通过与高通的合作，你们是如何具体利用 NPU 的？哪些工作负载被卸载到那里？与 CPU 或 GPU 处理相比，这改变了什么可能性？

Jaime Bosch： NPU 特别适合 AI 语音转换背后的推理工作负载。通过在 NPU 上运行这些模型，我们可以让 CPU 和 GPU 专注于游戏和流媒体，同时保持一致的性能。这使得我们能够运行要求更高的 AI 语音模型而不会妥协，这在延迟和系统开销重要的游戏环境中尤其重要。随着时间的推移，这使高质量的 AI 语音体验在主流消费设备上更加实用。

最近集成到 Elgato 的 Wave Link 中作为原生 VST 效果器，Voicemod 正在更接近核心音频管线，而不是作为单独的应用程序。从技术和用户体验角度来看，这一转变意味着什么？

Jaime Bosch： 更接近原生音频管线很重要，因为它使语音转换在创作者已经使用的工具中感觉更加自然。从技术角度来看，它简化了路由并使体验更直接。从用户角度来看，这意味着创作者可以将其作为现有工作流程的一部分访问语音效果，而不是将语音视为需要单独管理的独立部分。

（原文为 h3，按规则改为 h2 标题待定，但此处原文无标题，保留原结构）

历史上，像 Voicemod 这样的工具需要在多个应用程序之间进行音频路由，但现在效果器可以在现有管线中原生运行。减少这种摩擦对于广泛采用有多重要？

Jaime Bosch： 减少摩擦是推动广泛采用的最重要因素之一，因为人们希望这些体验在他们已经进行交流的地方感觉原生。对于主播来说，这意味着在他们的制作工作流程中进行更少的设置。更广泛地说，这指向一个未来，语音转换可以直接存在于游戏内语音聊天以及所有在线交流发生的地方。这是我们构建 SDK 的重要原因，这样语音就可以存在于人们已经说话的平台和环境中。

对于游戏开发者来说，将实时语音转换直接集成到游戏或引擎中需要什么？我们是否正在走向将语音作为原生游戏系统？

Jaime Bosch： 我们现在已经到了 Voicemod 通过我们的 SDK 直接集成到游戏中的阶段，这是一个重要的转变。这意味着开发者可以开始将语音转换视为原生玩家体验的一部分，而不是外部层。随着时间的推移，我确实认为语音将成为游戏系统更自然的一部分，尤其是在社交和多人环境中，通信已经是玩家互动的核心。

您是否看到过玩家以您最初未预料到的方使用语音转换的新兴用例？

Jaime Bosch： 最有趣的趋势之一是玩家如何使用语音来塑造身份和社会动态，而不仅仅是为了娱乐。我们看到人们使用它来感到更自信、更深入地角色扮演，或参与他们原本可能会犹豫的社区。甚至有一位用户告诉我们，他们在一次严重的健康事件后使用 Voicemod 重建自己的声音，这说明这个层可以多么个人化。它已成为临场感和参与感的工具，而不仅仅是效果。

AI 语音技术不可避免地引发了对隐私、冒充和滥用的担忧。Voicemod 如何应对这些挑战，尤其是在处理发生在本地设备上时？

Jaime Bosch： 我们从技术和伦理两个角度来处理。在本地运行处理减少了对敏感语音数据的暴露，这是隐私的重要基线。同样重要的是，我们所有的 AI 模型都是使用经过许可的数据构建的，Voicemod 很自豪为其 AI 语音和歌唱模型获得了 Fairly Trained 认证。我们相信创造力语音技术应该扩展表达，同时尊重那些使该技术成为可能的人的权利。

与基于云的 AI 系统相比，设备端处理是否改变了数据隐私模型？如果有的话，哪些数据会离开用户的机器？

Jaime Bosch： 设备端处理确实改变了隐私模型，因为在我们的案例中，实时语音转换不需要将实时音频发送到云端进行推理。这给了用户更多控制权，并降低了集中式数据处理带来的风险。同时，我不会说设备端在每个情况下都自动更好。只要设计得当且真正尊重用户隐私，设备端和基于云的系统都可以是合适的。在 Voicemod，这意味着非常清楚产品做什么和不做什么。应用程序访问麦克风以应用用户选择的语音效果，我们不会监听用户的对话。我们还有一个严格选择加入的服务改进计划。在这些情况下，只共享非常短的片段，从不共享完整对话，并且这些音频不用于训练我们的模型。对我们来说，原则很简单：用户应该了解正在发生的事情，保持控制，并相信他们的数据得到负责任的处理。

（原文为 h3，按规则改为 h2 标题待定，但此处原文无标题，保留原结构）

随着这一领域的发展，像 Voicemod 这样的平台在塑造游戏中语音 AI 的伦理标准方面承担着什么责任？

Jaime Bosch： 像 Voicemod 这样的公司承担着真正的责任——不仅对我们的用户，而且对 AI 价值链中的每一个人：艺术家、开发者、更广泛的生态系统。这种责任在尖端技术领域尤为突出，因为立法不可避免地落后于技术本身。当公司从一开始就深思熟虑地行动——保护用户、尊重艺术家、设计信任——他们不仅在遵守未来规则。他们在塑造这些规则的模样，并设定用户和监管机构最终会认为其基线期望的标准。在 Voicemod，这种理念始于一个刻意的选择：当我们开始训练语音 AI 模型时，没有像许多其他人那样从互联网上抓取数据，而是雇佣了语音人才并采购了许可数据。这一决定使我们成为第一个获得 Fairly Trained 认证的同类语音 AI 模型——认可我们的训练数据在同意和补偿方面符合最高伦理标准。但标准并不止于模型如何构建。它贯穿我们所做的一切：我们如何设计工具，我们如何通过设计处理隐私，我们如何思考每个用户的体验。目标很简单——人们应该能够增强自己的声音，在在线空间中建立自己的身份层，并享受其中的乐趣，而无需担心我们如何处理他们真实的生物语音。这种信任不是一个功能。它是基础。

展望未来，您如何看待 AI 语音在未来 3-5 年内的发展，尤其是随着设备端 AI 硬件变得更加强大？

Jaime Bosch： 语音将成为游戏和交互平台中数字身份的标准层。随着硬件的改进，转换将感觉更自然、更个性化，并且始终实时可用。随着时间的推移，控制你的声音将变得像选择虚拟形象或皮肤一样标准。

Voicemod CEO Jaime Bosch

相关链接

• Voicemod

原文链接：https://80.lv/articles/real-time-voice-transformation-and-the-future-of-online-player-identity