空间流式传输：解锁 3D 资产交付新可能
请介绍一下您的背景，以及您是如何最终转向构建 3D 交付基础设施的？
Sean Looper（Miris CTO）：我的背景是动画和视觉效果。我在电影行业起步，担任动画师，之后逐渐被用软件解决视觉问题所吸引。目标始终不变：如何利用技术提升艺术性，高效且出色地制作出尽可能精美的画面。当时计算机图形学仍处于萌芽阶段，但已足够成熟到可实现商业落地，这是一个令人兴奋的交汇点，因为正是在这里，技术才能真正大规模地发挥作用。
从那时起，我的职业生涯涵盖基础设施和深科技领域。我经历过梦工厂动画等工作室，在那里我领导一个专注于实时流式图形系统和 HPC 的团队，也曾在索尼影视图像工作室工作。在那段时间里，我参与了 60 多部电影的制作。之后，我在亚马逊云服务（AWS）带领团队构建了一款面向大规模、数千 CPU 的 HPC 系统的产品，这些系统专为实时处理和流式传输计算机图形而设计。
大约三年前，人工智能提供了解决那些我们曾认为是无解物理问题的痛点的方法，我开始与 Miris 合作。我们从三个相互交叉的技术视角来审视 3D 资产流式传输的挑战：流式图形、大规模实时 HPC 系统，以及应用于计算机图形学的 AI。很明显，我们可以将这三种技术结合起来，以行业在过去 20 年里已经接受的妥协方式之外的方式，大规模地流式传输计算机图形。我们意识到，这些问题如今已经可以解决，而且凭借我们的专业背景，我们处于独特的位置去攻克它们。
自适应视频流式传输在过去二十年里已经是一个被解决的问题。为什么 3D 以同样的方式交付要难得多？
Sean Looper：你可以在 2D 中体验 3D，就像我们看电影时那样，但代价是失去交互性：我无法改变我的视角或改变输入，使屏幕上的内容对我做出响应。游戏引擎提供了交互性，但为了移动性，你牺牲了视觉保真度。你可以花钱购买昂贵的本地硬件来改善体验，但那又失去了移动性。你接受各种折衷，以换取把这些体验装进口袋的便利。
在这两者之间，还有像像素流式传输这样的方案。你可以在云端租用一个 GPU，在那里运行游戏引擎，并在浏览器中查看输出，而无需依赖本地硬件，但这又引入了新的限制：GPU 的可用性、成本和延迟。为了获得最佳体验，你必须在地理位置上靠近那个 GPU。这里的折衷是你获得了便携性，但代价是复杂性。
几十年来，我们一直知道并接受了这些妥协。我们接受了实时图形需要 GPU，更高的保真度需要更昂贵的设置。我们遵循了一种几乎是本能的摩尔定律模式：系统里更好的数字、更低的延迟、更高的带宽、更强大的 GPU 和 CPU，都能带来更好的体验。我们一直认为这是一条不容置疑的物理定律。
我们最终需要以 3D 的方式体验 3D；而 AI 使我们能够转移我们做出妥协的位置与方式，将大部分计算负载推入一个上游 AI 处理阶段，这个阶段很像 LLM，会预先评估更广泛 3D 体验中的排列与可能性。在运行时，这种评估的成本会大大降低。结合自适应流式传输，我们既获得了流式视频的所有优势，又不会牺牲 3D 体验的交互性。在 AI 之前，这根本不可能。
这从来不是“为什么我们不能像视频那样流式传输 3D？”的问题，而是“我们为什么让自己把这些当作物理定律，而不是等待通过更好的技术去解决的问题？”
Miris 的导入流程中会发生什么？在不涉及任何专有内容的前提下，3D 资产要能够被高效流式传输，需要经过哪些分析、转换或优化？
Sean Looper：从客户的角度来看，答案是：什么都不用做。这正是其神奇之处。他们拿着自己资产的最高保真版本，交给我们，然后由我们处理。
在幕后，我们对该资产运行一个 AI 优化过程。这让我们能够以非常低的成本将其分发到全球各地，并且能够只向终端用户的设备拉取所需数据，不多也不少。我们拉取时会考虑设备的性能、当前的网络状况、用户相对于内容的视角，以及资产本身的特性。
整体架构很简单。资产进入后，一个处理步骤会根据资产、设置和期望输出运行几分钟到几小时。完成后，结果本质上是一个全面的空间数据库。然后，一个智能客户端会根据观看者的设备和连接情况向他们交付资产。因此，除了那个相当复杂的优化步骤外，整个系统简单而优雅。
Miris 在导入时一次性完成高成本工作，然后流式传输空间数据，在设备上重建，而不是在云端渲染帧。请说明一下为什么这种区别很重要。
Sean Looper：当你渲染某物时，你的视角是固定的——没有交互性。渲染本质上是从 3D 到 2D 的转换。游戏引擎通过将所有数据放到 GPU 上并实时渲染来解决这个问题，这样你就可以移动相机，但这会显著降低视觉保真度。预渲染——也就是视觉效果、电影和电视采用的方法——则采取了相反的取舍：在保真度上毫不妥协，但完全牺牲了交互性。最终用户无法移动视角或自定义内容体验。对于电影和电视来说，这完全可以接受，但在许多应用中这种妥协是不可接受的。
Miris 提供了游戏引擎的大部分灵活性，你可以自定义自己的体验，在资产周围自由导航，同时具备你期望从预渲染内容中获得的视觉质量。你可以以电影级保真度导航一个 VFX 镜头或 CG 资产，而无需像在游戏引擎中那样以某种降级形式查看它。
这实际上解锁了什么？一个团队现在可以构建或交付什么，而以前是不切实际的？差异体现在哪里：成本、时间，还是他们能交付的内容？
Sean Looper：我想答案有很多，但目前引起最多兴趣的是资产审阅，即能够在任何情况下分享 3D 资产的原始高保真版本，无需妥协，无需为了让它在手机或跨时区环境下可见而降低质量。这是一种不牺牲价值的可访问性，我们的许多客户和合作方都意识到他们可以两全其美。
例如，一个产品设计师可能与一个全球分布的团队合作。该团队可能希望从平板电脑、iPhone 或低功率笔记本上审阅资产，同时保留高保真光照、复杂材质表面和极高的几何细节。这些都是传统游戏引擎难以做到的，尤其是在低功率设备上。
医学可视化、媒体与娱乐、电子商务，以及面向工业场景的数字孪生，也是受益于空间流式传输的领域。我们解决的问题跨越数十个行业，因为它本质上是一个长期存在的物流问题，过去被简单地视为无法解决。
你们并不是把这个作为面向所有人的工具来推销。解决 3D 交付问题在哪些地方能创造最大的杠杆？这些用例有什么共同点？
Sean Looper：我们整个团队都来自深科技和高保真计算机图形领域。我们最初打算构建一个我们自己想要的产品，现在仍然如此。但我们低估的是，我们同时也在构建一些让 3D 变得易于上手的东西，让那些从未接触过 3D 的初级开发者也能够轻松使用。以前，开发者必须花费大量时间精力去调整资产以适应游戏引擎或 Web，或者将这项工作外包。我们已经解决了这个问题。
我们的很多客户已经有由他们的营销团队、产品设计部门或工程团队构建的高保真资产。通过以原始高保真形式获取该资产，Miris 解决了整个流式传输和交付问题。我们低估了这能带来多少解脱。
结果是，对于以前因复杂性和成本而减少使用乃至从未采用 3D 的客户来说，3D 变得更容易获取和使用了。这对我们来说是一个真正的警醒：我们以为我们是在为已经使用 3D 的成熟开发者解决问题，但与此同时，我们也让 3D 对那些一直难以应对它的人来说变得平易近人。
不同的 3D 用例可能有截然不同的要求，从游戏资产、数字孪生到产品配置器、VFX 审阅和电子商务。Miris 如何适应不同的内容类型、交互级别和保真度需求？
Sean Looper：与 Netflix 和其他流媒体服务类似，我们的专长是在当前影响终端用户的任何约束下——设备性能、GPU 能力、网络带宽、延迟，等等——提供尽可能最佳的体验。我们实际上是运行一个旨在实时最大化质量的持续优化算法。
如果条件理想，比如你有一个 4K HDR 显示器，连接速度快，你会得到一个毫不妥协的、一对一的资产查看体验。如果你在飞机上，用手机观看，你会得到一个略微降低的版本，但这是我们知道的，你愿意为了随时随地体验该资产的便利而接受的版本。
这就是我们对客户的承诺：无论终端用户身处何地，使用何种设备，都提供当前技术所能实现的绝对最佳体验。
Miris 如何处理规模问题，无论是极其庞大的单个资产、大型世界、大量并发用户，还是来自实时制作管线的频繁资产更新？
Sean Looper：可扩展性从根本上就融入了 Miris 的设计。这意味着无论设备类型、高延迟或不稳定的连接性，都不会妥协。
在导入端，我们整个系统设计为可以水平扩展。我们遵循最佳实践，并认真对待满足企业级期望的责任。我们团队在全球科技公司的经验，直接将那些理念带入了我们定义和运营大规模产品的方式中。
在交付端，我们今天已经可以向全球数百万最终用户提供资产。对于企业级服务，我们认为这是基本门槛。这是我们带来的价值中很重要的一部分：不仅是解决这个问题，而是以企业级规模解决它，或者像我们喜欢说的那样，以互联网规模解决它。
对于想要立即尝试的开发者，集成看起来是怎样的？Miris 在现有管线中适合哪个环节，又不适合哪个环节？
Sean Looper：我们的 SDK 今天已经在 GitHub 上发布，并且完全由我们提供支持。我们还为开发者设立了 Discord 频道。在我们的网站（miris.com）和 player.miris.com 上，你可以看到我们的 Web SDK 实际运行的示例。上手非常简单，就像写几行 TypeScript 或甚至原始 HTML 一样。
我们的客户通常带着现有的 3D 引擎来找我们，比如 Unity，或者 Web 上的 Three.js，我们的策略是通过尽可能原生地集成到这些引擎中来适应用户。对于更专业的部署场景，如广告、可穿戴设备和其他超低功耗场景，我们也在构建一个轻量级独立引擎，专门用于从 Miris 流式传输资产。其目的是在效率至关重要的设备上实现可移植性和最小内存占用。
我们还提供所谓的 Playground：一个 Web 开发者可以试验我们的 API，并实时查看资产流式传输预览的空间。
空间流式传输下一步将走向何方？三年后有哪些今天听起来还很大胆的事情会成为常态？
Sean Looper：首先，我们会在 3D 已经存在的领域改进 3D。如今 3D 无处不在，有许多客户和用例。我们现在就可以在质量、成本效益和规模方面改善和升级这些体验。
然后，我们降低门槛。随着此前阻碍人们接触 3D 的障碍逐渐消除，那些过去回避或很少使用 3D 的客户、合作伙伴和开发者，开始去做他们一直想做却做不到的事情。Miris 使之成为可能。
接下来，是一个以 3D 为先的互联网。互联网已经从以图片为先（视频作为一个小众领域）发展到以视频为先。我们相信，随着 3D 变得像视频一样易于使用，我们将看到类似的转变。生成式 AI 极大地加速了这一进程；它让那些过去需要专业软件技能的人也能创建 3D 内容，就像智能手机摄像头让视频创作民主化一样。过去制作视频需要胶片摄影机或 Betamax；现在它就在每个人的手机上。
在向开发者解释空间流式传输时，你听到的最常见的误解是什么？你希望更多团队如何理解 Miris 想要解决的问题？
Sean Looper：我们最大的挑战（这是初创公司的常态）是让人们知道这些问题现在已经解决了。痛点不再存在。成本在下降，易用性在提高，可及性已经到来。这是一个范式转变，人们需要知道他们此前视为理所当然的假设已不再成立。
使用过 3D 的人亲身感受过这些痛点，因此能立刻理解我们在解决的问题。我们的价值主张对他们来说显而易见且直观。而那些没有以同样方式与 3D 打过交道的人，可能会因为觉得 3D 难以接近而回避它。我们花了很多时间向我们沟通的对象说明情况已经改变。最终他们都明白了。
对于 80 Level 的艺术家和技术美术读者，空间流式传输如何改变他们对资产创建、优化、版本管理和交付的思考方式？它是减少了约束，还是仅仅将这些约束移到了管线的另一个部分？
Sean Looper：空间流式传输完全消除了这一负担。我曾长期与艺术家和资产创作者一起在这个领域工作，毫无疑问，他们总是需要考虑：这个资产将如何被使用，不仅是感知层面，还有技术层面？目标平台的限制是什么？对于 Web 上的 3D 尤其如此，因为 WebGL 实际上就是一个游戏引擎。资产必须被降级、被压缩，并为交付进行优化，这是创作者只能背负的负担。
我喜欢我们做的事情之一，就是我们说：“制作你能做出的最好资产。让它尽可能大，尽可能高保真。让你的贴图尽可能大而精细。几何体也一样，所有东西都一样。别担心交付。一旦你完成了，我们就解决那个问题。”
我认为这类似于电影制作人拍摄他们的电影——最终版本，在影院中全面呈现的那个版本——然后将其上传到某个服务，说：“现在让这部电影在 Netflix、Hulu、Disney+、YouTube 以及所有需要的地方上线。帮我解决这个问题。”这实际上就是我们为 3D 做的事情。它消除了大多数内容创作者宁愿不去处理的大量考量。
Sean Looper，Miris 首席技术官
相关链接
原文链接：https://80.lv/articles/how-spatial-streaming-is-unlocking-new-possibilities-in-3d-asset-delivery
喜欢这篇内容吗？