HiPR：用层级式渐进渲染让路径追踪优先呈现关键像素，提升交互响应
路径追踪可以产生极其逼真的光照、反射和阴影，但这种视觉质量带来了一个根本性的响应速度问题。当美术师移动物体、更改材质或调整灯光时，渲染器实际上可能会重新开始整个图像的渲染——即使只有某些区域受到了实质影响。对于从事外观开发、虚拟制作、关卡设计或建筑可视化的创作者来说，这种延迟可能会打断迭代流程。
分层渐进式渲染（Hierarchical Progressive Rendering，简称 HiPR）将这一问题视为调度问题。该技术由犹他大学研究员Rafael Padilla与 Andrew Tate、Dhruv Ram 和 Cem Yuksel 共同开发，能够识别编辑直接可见的位置，并通过反射、阴影、间接光照和其他光传输路径追踪其影响。然后，它首先更新最重要的图像区域，同时剩余像素逐步跟上，最终生成相同的无偏路径追踪结果。
您可以在完整版研究论文中了解更多细节。
我们与 Padilla 进行了交流，他的从业背景包括在华特迪士尼动画工作室和梦工厂动画的制作工作。我们谈论了如何将场景的逻辑状态与渲染器更紧密地连接起来。他讨论了 HiPR 如何构建受影响区域的层级结构、如何确定感知优先级、如何处理暂时过时的像素，以及最终如何帮助路径追踪创意工具、游戏和 XR 体验将渲染预算花在最需要的地方。
首先，能否请您介绍一下自己、您的研究以及您的背景？
Rafael Padilla：我目前是犹他大学计算机科学专业的硕士研究生，专注于计算机图形学以及渲染/模拟。在攻读学位之前，我曾在动画行业工作，先后就职于华特迪士尼动画工作室，最近在梦工厂动画，从非常务实、以制作为导向的角度处理图形问题。这段经历让我对渲染技术的能力与实际带给美术师和用户的响应感之间的差距格外感兴趣。
这引导我走向交互式路径追踪。路径追踪可以生成高质量的图像，但当您对场景做一个小改动时，渲染器通常不得不从头开始。我开始思考我们是否能让渲染器更聪明地分配其计算时间。
这就是 HiPR（分层渐进式渲染）的由来，我与合作者 Andrew Tate、Dhruv Ram 和 Cem Yuksel 共同开发了它。核心思想是将交互式渲染视为调度问题。编辑之后，我们不是让每个像素获得同等的优先级，而是利用光传输来确定该改动可能影响的位置，并优先更新这些区域。
更广泛地说，我的研究聚焦于交互式渲染和图形系统，以及如何让基于物理的渲染在真实的创意工作流或游戏、VR 等实时应用中变得响应更快、更有用。
是什么让您专门关注渲染调度，将其作为交互式路径追踪的解决方案？
Rafael Padilla：我对现代 3D 应用的一种理解是，它们实际上有两个层面。一个是模拟或逻辑世界，它描述了什么存在、物体如何行为、它们在何处、什么发生了变化。另一个是渲染，将这种状态转换成我们真正能看到的图像。
历史上，这两个层面之间的联系相当松散。应用知道美术师移动了一把椅子、更改了材质或打开了一盏灯，但渲染器通常只会将其视为“场景变了，所以我需要渲染新场景”。它不一定理解这种变化的含义，也不理解它如何在图像中传播。
我认为，随着渲染技术变得越来越复杂，这种脱节会变得越来越重要。例如，在路径追踪中，逻辑世界的一个微小变化可能对渲染世界产生高度非局部的影响。移动一个物体可能会改变房间对面的反射、地板上的阴影以及墙壁上的间接光照。但渲染系统仍可能将整个画面视为同等重要。
这引出了我们的一个简单问题：如果渲染器能更好地理解逻辑世界中发生了什么会怎样？
HiPR 不是假设每个像素都需要以相同的优先级重新计算，而是利用变化本身作为信息。我们识别编辑在何处可见，跟踪其影响如何通过光传输传播，然后根据这些信息最可能产生作用的位置来安排渲染工作。
因此，核心思想与其说是让路径追踪器从根本上变得更快，不如说是更智能地连接这两个世界。我们改变的是信息到达屏幕的顺序，而不是底层的路径追踪算法或最终结果。目标是让渲染器响应编辑的*意义*，而不仅仅是响应用户已更改帧这一事实。
当美术师移动物体、调整材质或更改灯光时，HiPR 如何确定受影响的像素——尤其是当变化会影响到图像中其他位置的反射、间接光照、阴影或焦散时？
Rafael Padilla：关键思想是，3D 世界中的变化可能会产生远超（或远不及）实际更改对象的后果。移动一个物体/角色、更改材质或调整灯光，其效果可以通过反射、阴影和间接光照传播到场景中完全不同的部分。
我们几乎将其视为水中的涟漪。编辑就是水花，光传输决定了涟漪的走向。
传统渲染器通常必须求稳，更新整个图像。相反，HiPR 尝试跟随这些涟漪。我们从更改直接可见的位置开始，然后追踪其影响如何在场景中传播。当我们发现其他可能受影响的可见区域时，我们会优先渲染这些区域。
这在电影、游戏、VR 和其他交互式 3D 应用中很有用，因为关键问题往往不是“我能多快渲染所有内容？”，而是“我能多快看到我刚才所做操作的后果？”
因此，在高层面上，HiPR 会询问渲染器： “这一更改在哪里重要？” 一旦我们知道这一点，便可先将有限的渲染时间投入于此，从而更快地提供有用的视觉反馈。
您能否解释一下光路径依赖性的层级结构是如何构建的，以及系统如何决定图像的哪些部分将为美术师提供最重要的感知反馈？
Rafael Padilla：层级结构从直接受影响的区域开始，然后通过渲染该区域时发现的光路径逐步扩展。这意味着，您必须使用某种启发式方法，首先选择“最重要的主体”，例如正在编辑的对象、游戏中的玩家或其他标准。
我们将图像表示为若干瓦片（tiles）的集合。当我们从最初受影响的瓦片追踪路径时，每个可见的次级交互实际上都可以为另一个瓦片投票。该交互的贡献会根据累积的路径吞吐量（throughput）、弹射深度、散射事件类型和光路径类别进行加权。
因此，从已更改元素出发的路径如果携带了多个强传输贡献，其目标瓦片会比仅弱连接或远连接的瓦片积累更大的权重。
然后，我们按照这些权重对发现的瓦片进行排序，并按降序渲染。加权还为我们提供了一种表达感知优先级的方式。例如，镜面反射或直接响应可以不同于漫反射或深层间接传输进行优先排序。在玻璃较多的场景中，我们可能希望透射和焦散效果更早出现；在镜子较多的场景中，反射的变化可能更重要。
这就是我们称之为层级结构的原因：从直接变化的区域向外，通过编辑的越来越间接的后果，形成一个自然的进展。有趣的是，这个层级结构并不仅仅基于图像空间距离，而是基于编辑实际上如何通过场景的光传输进行传播。
HiPR 在屏幕上保留一些现有像素，同时渐进式更新其他像素。您如何防止中间图像产生误导？
Rafael Padilla：这里存在图像新鲜度与渲染工作量之间的权衡。HiPR 被刻意设计为优先提供有用的反馈，而不是坚持每个像素都立即更新。
当我们渲染一个区域时，我们仍然使用相同的无偏路径追踪过程。我们改变的是完成工作的顺序，而不是底层的渲染算法。这意味着图像可能会暂时混合了新更新的像素和编辑前的信息，但随着渲染继续进行，图像的其余部分会跟上，最终结果仍然是完全收敛的路径追踪图像。
什么样的中间图像算可接受，也高度依赖于情境。制作电影镜头的美术师可能希望角色、其反射和附近环境立即可更新，而较远的背景可以慢一些。在游戏或 VR 应用中，我们可以更明确地做到这一点：优先处理玩家及其周围最重要的光传输依赖，例如地板、墙壁或附近物体上的反射，同时以较低频率更新远处的大环境。
这为未来指引了一个更广泛的方向。与其平等对待每一帧和每个像素，渲染器可以根据感知和上下文调整其更新速率。世界的某些部分可能需要每帧更新，而其他部分可以每隔几帧或更长时间刷新一次，而没有人会注意到。
HiPR 是朝着这个方向迈出的第一步。我们展示了渲染可以利用场景变化和光传输知识来决定什么应该优先得到注意。未来的工作可以更进一步，考虑编辑的大小、利用运动和模拟数据来指导渲染，以及自动学习哪些光传输效果在感知上重要。最终目标是让渲染器更清楚发生了什么变化、在哪里重要，以及该信息实际上需要以多快速度到达屏幕，更重要的是到达视网膜。
哪些类型的编辑和场景目前最能从 HiPR 中受益，这种方法在什么地方仍有困难？
Rafael Padilla：HiPR 的优势场景是有人正在积极塑造 3D 世界并需要快速看到结果的情况。这使得它在外观开发、游戏、虚拟制作、关卡编辑、建筑可视化和 XR 中尤其有前景。更改材质、移动物体或调整灯光时，HiPR 可以优先处理图像中最关键的部分，而不是平等地重新启动所有内容。
特别是对于游戏/VR，渲染器可以优先处理玩家、附近物体以及重要的反射、阴影和间接照明，同时以较低频率更新远处环境。更广泛的想法是，并非世界的每个部分在每一时刻都需要相同的渲染工作量。
但也存在局限性。HiPR 对于局部变化最有效。较大的光照或环境变化（例如阳光变化）会影响大部分图像，从而留下较少的优先级工作。相机运动在当前的系统中也具有挑战性，因为某些物体可能会发生剧烈变化，而其他物体由于视差，在感知上几乎不动，这是我们未来工作的方向之一。
系统在感知意识方面也有提升空间。未来的版本可以考虑编辑的幅度、运动和模拟数据，甚至观看者实际注视的位置（注视点渲染）。
所以我认为更大的想法很简单： 渲染器应该将精力花在最需要的地方，而不是将每个像素都视为同等重要。
将 HiPR 集成到成熟的生产渲染器或游戏引擎路径追踪器中难度如何？您认为最直接的近期价值在哪里：外观开发、虚拟制作、关卡编辑、建筑可视化，还是最终实现路径追踪游戏玩法？
Rafael Padilla：我们最兴奋的一点是，HiPR 可以相对容易地集成到现有的光线或路径追踪器中。核心思想是一个调度层，帮助决定下一步应该执行什么渲染工作，而不是要求开发人员替换其渲染器。
SIGGRAPH 论文通过三个简单的阶段解释了该算法，这对我们很重要。我们希望核心思想能够容易理解且实用，而不是深埋在复杂的渲染系统中。
我们在 Real-Time Live! 上展示的是 Vulkan 参考实现，我们计划很快发布。我们还在为 SIGGRAPH 2027 撰写一篇后续论文，该方法将更进一步，目前所见的结果非常令人鼓舞。
作为 2027 年工作的一部分，我们还希望让 HiPR 更易于采用。目标是提供一个非常轻量级的 API，基本上可以以 Git 子模块或小型仅头文件库的形式拉入现有的光线或路径追踪项目，而只需对渲染器进行最小改动。因此，与其将 HiPR 视为一个大型渲染框架，不如说是为现有系统添加一个有用的构建模块。
在应用方面，我认为直接价值涵盖了内容创作和交互式 3D：外观开发、虚拟制作、关卡编辑、建筑可视化、游戏和 XR。游戏尤其令人兴奋，因为引擎已经掌握了大量上下文信息，它知道玩家在哪里、什么在移动、什么对体验重要。这些信息可以与光传输相结合，持续决定渲染精力最应该用在哪里。
这引出了这一切背后的更大想法。随着光线追踪变得越来越普遍，挑战不仅是让它更快，还要让渲染器更聪明地决定 在何时、何地以及为什么 消耗其计算资源。
Rafael Padilla，研究员，犹他大学计算机科学硕士生
您可以在 完整 研究论文 中了解更多相关内容，或观看 SIGGRAPH 演讲 此处。
喜欢这篇内容吗？