普渡大学用 PBD、SDF 与体积 splat 实现可实时切割撕裂的虚拟解剖
医学解剖应用可以显示详细的扫描图像、分离结构，并对体数据进行切片，但与这些模型的交互方式很少像在解剖实验室里那样操作。普渡大学的研究人员 Tim McGraw 和 Jack Myers 开发了 Dissectible Anatomy: Embodied Exploration for Education，让虚拟人体变得互动性强得多。
这项技术将彩色冷冻切片图像（包括来自 Visible Human Project 的数据）转换为可变形的模型，这些模型可以实时被切割、撕开、牵拉和分离。该系统没有依赖传统的连通网格或计算开销高昂的生物力学模拟，而是结合了基于位置的动力学、有符号距离场，以及通过可移植计算着色器处理的体素 splats。McGraw 和 Myers 在 SIGGRAPH 2026 上现场展示了该项目，并获得了官方的 Real-Time Live! 观众选择奖。
我们与 McGraw 聊了聊如何设计没有固定连通性的虚拟模型、如何在响应速度与物理准确性之间取得平衡、这项技术在游戏和 VFX 领域的潜力，以及在数千名 SIGGRAPH 参会者面前进行六分钟现场技术演示那种独特的压力体验。
首先，能否请您简单介绍一下您自己、您的研究以及您的背景，作为开场？
Tim McGraw，普渡大学教授兼研究员：我的学士学位是机械工程，职业生涯早期我设计过液压阀和建筑设备。后来我重返校园，在佛罗里达大学获得了计算机科学的硕士和博士学位。我的硕士论文和博士论文都关于医学图像处理与可视化。但我一直想从事娱乐图形方面的工作，所以我在几家游戏工作室待过：凤凰城的 Rainbow Studios、奥兰多的 EA Tiburon，以及短暂地在匹兹堡的 Schell Games。
之后我来到普渡大学，在这里工作了大约 12 年。所以，我认为这个特别的项目与我这段奇特而零散的职业生涯中的大部分经历都密切相关。
最初是什么启发您探索交互式虚拟解剖的？您在现有的解剖学教育工具中看到了哪些想要解决的局限？
Tim McGraw：自从读研究生时听说可视化人体计划（VHP）以来，我就对它很感兴趣。在当时收集这些数据时，我认为目标就是实现实时虚拟解剖之类的事情，但计算机还不足以胜任这项任务。等到图形硬件跟上时，可视化和图形学研究人员似乎已经把它遗忘了。我一直在留意有趣的数据集，所以在 2024 年做了 SIGGRAPH Real Time Live!（Mesh Mortal Kombat）之后，虚拟解剖和手术模拟似乎是顺理成章的下一步。最初那项技术只能在非常粗糙的体素网格上运行，因此将其演进到能够处理高分辨率 3D 纹理，就成了我决定攻克的下一项挑战。
我们在现有解剖学教育工具中要解决的主要局限是缺乏交互性。它们中许多也使用 VHP 数据，但只让你把数据裁剪到某个平面，或者让结构变透明。我认为现代 GPU 让更多事情成为可能，比如像你在解剖实验室里那样进行形变和切割。
你的系统结合了冷冻切片图像、基于位置的动力学、有符号距离场和体积 splats。能否解释一下这些组件如何协同工作，将医学影像数据转化为可交互切割、撕裂和变形的模型？
Tim McGraw：所有这些（粒子、SDF、splats）都由我们代码库中的计算着色器进行处理和更新。我们不依赖任何游戏引擎，也不依赖任何针对特定 GPU 或操作系统的库，比如 CUDA。借助计算着色器，我们可以为我们的技术获得非常好的硬件加速，并使其可在多种设备间移植。
图中所示：PBD 粒子（左）、splats（中），以及经过插值与贴图处理的 splats（右）
冷冻切片图像决定了我们将在何处创建 PBD 粒子。我们在图像上铺设一个低分辨率网格，并在覆盖标本的网格点处创建粒子。接着，我们创建一个分辨率高 4 倍的网格，并在标本上方的那些网格点处创建 splats。在运行时，我们更新与每个 splat 关联的有符号距离值，该值告诉我们每个 splat 距离模型可见表面有多远。
这让我们能够使用诸如交集和减法之类的有符号距离函数运算来使模型断裂。随着模型被断裂，该有符号距离函数会不断更新，因此我们在渲染时只绘制 splats 的外壳。
剔除内部和背向的 splats
与其追求外科手术模拟所需的工程级物理精度，你更看重视觉上可信的行为和实时性能。你是如何确定真实感、响应速度和教学实用性之间的恰当平衡的？
Tim McGraw：其实我们还没有确定这一点。我只是从在我看来合理的地方开始。确定教学实用性的真正方法是让教育工作者和学生实际使用它。做一次知识前测、后测，然后理想情况下再做一次追踪后测，以评估知识保持情况。但要把这一切都做好，你需要一个真正面向教育的虚拟解剖系统。
我们现在拥有的只是一个技术演示。所以这就是我目前的工作：与教育工作者交谈，了解他们对我现有成果的意见、其他工具做得好的地方、做得不好的地方，并将所有这些信息整合到一个测试平台系统中。
从韩国可见人类大脑（左）和 Digimouse（右）中切除结构
我认为物理准确度的高低不会对学习成果产生不利影响。游戏物理和碰撞检测中使用了许多近似处理，玩家不会注意到，或者即使注意到，也不会真正影响你对游戏的体验。所以我们希望同样的原则也适用于此。我们的目标不是教授组织的生物力学。
我们希望这个工具能教授结构的名称、形状、相对位置等，但要在引人入胜的交互式环境中进行。并且在一个没有后果的环境中，让学生可以自由地探索数据。如果他们切错了，可以直接撤销；或者如果切除了错误的器官，他们可以直接重新开始。真正的解剖应该始终是医学培训的一部分，但这样的系统可以让早期学习者在进入实际实验室之前就熟悉解剖学、术语和操作流程。
通过切割探索 Visible Human 项目数据
在允许模型拓扑在切割或撕裂过程中动态变化方面，最大的技术挑战是什么？为什么体积 splat 比传统的三角网格更适合这个问题？
Tim McGraw：Splat 很方便，因为不需要追踪连接关系。当我们切割时，只是把 splat 从一个区域移到另一个区域。而如果用三角形或四面体，我们就必须切割它们。但当你切割一个三角形/四面体时，结果可能不再是三角形/四面体。而且这些切割需要传播到其他相邻三角形，所以会变得非常混乱，在计算着色器的并行处理环境中尤其棘手。
但更技术性地说，最大的挑战是弄清楚在哪里把这些过程拆分成可以在没有读写冲突的情况下并行运行的块。有时我们必须先在区域网格上派发一个着色器，然后在粒子上派发，最后再在区域上派发一次来清理。尽量减少这些独立派发的次数，过去是、现在仍然是一个挑战。
用各种其他形状切割模型
除了解剖学教育之外，这些可破坏的形状约束还能在哪些地方派上用场？同样的底层技术最终能否在游戏和视觉特效中支持实时软体破坏、生物肢解，或更精细的材质交互？
Tim McGraw：我认为可以。中小规模的视觉特效预演和游戏内破坏效果似乎是可行的。Dissectible Anatomy 可以通过体素化网格来创建模型。我是老恐怖片和经典电影中使用的实拍特效的粉丝，比如约翰·卡彭特的《怪形》和山姆·雷米的《鬼玩人》系列。
在 Mesh Mortal Kombat 中，我真的很想重现《扫描者》中的爆炸头效果。如果这项技术真的被用在这些场景中，我希望它能带着那种夸张到近乎喜剧的精神。而不是用真实的人体冷冻切片图像。设计代表外星人或怪物解剖结构的 3D 纹理将是一项有趣的艺术任务。
由体素化的犰狳网格构建的可解剖模型。
跟我说说 SIGGRAPH Real Time Live! 展示以及参与的过程，还有参加这个展示是怎样的体验。
Tim McGraw：Real Time Live（RTL）其实涉及很多内容，但一切都值得。提交过程与其他 SIGGRAPH 项目的提交类似。你需要上传一段演示视频和一段6分钟的分解视频。这些会由评审团审核，大约一个月后你可能会被拒绝或获得有条件录取。如果你获得有条件录取，会有一场在线排练，你需要向 RTL 主席和其他一些评审团成员展示。如果顺利，几周后你将正式被录取。然后你有大约一个半月的时间为展示做准备。但在此期间，你需要提交一份3-4页的摘要，该摘要会被发表，还要为会议预告片制作一段简短的宣传视频。
如果你参与了 RTL，你必须提前到达会议现场，这很有趣，因为你能看到它在变得拥挤之前逐渐活跃起来。你需要在会议开始前的那个周六到场进行技术设置。到达后，你可以看到那个房间，它非常大。它能容纳数千人。我记得在洛杉矶时接近3000人。那里有一些很酷的房间和舞台灯光，还有一排排的桌子，每支团队在演示时都会坐在那里。第一天只是为了解决视频、声音和网络连接等技术细节。
洛杉矶会议中心里最大的房间
从舞台上看
然后到了周日，也就是会议的第一天，你要早起参加排练。你按顺序把整场演出完整过一遍，带着麦克风、灯光以及整个音响和视频团队。能提前看到其他人的演示，是这段经历中真正的福利。当然，在此期间，团队可能还在修改代码或重写脚本。有点手忙脚乱。周一你可以自由参加大会、做自己的事，然后周二晚上演出正式开始。晚间活动是我在 SIGGRAPH 最喜欢的部分：论文快进、动画剧场和 RTL。
在漫长的会议日结束时，坐在寒冷、黑暗的房间里，用更多娱乐来放松是件好事。除非你当晚要上台表演。
你得在演出前几个小时到达舞台。我们（我和我的学生 Jack Myers）在等待时作为一个团队排练了几次。演出时间到来时，参与者与观众一起坐在舞台附近几排预留座位上。大约在你上台前两个演示时，你会去后台，戴上麦克风，等待轮到你。真是让人紧张不安！轮到你时，你走出去，灯光超级亮。亮到很难看清观众。
你完成 6 分钟的演示，如果幸运的话，什么都不会崩溃，你会听到前方黑暗中观众的窃窃私语和笑声。知道你的家人正在家里通过 YouTube 观看直播，既是安慰，也是压力。所有的工作都浓缩成令人兴奋的 6 分钟，然后突然就结束了，你可以如释重负地观看剩下的演出。
演出结束后的观众选择奖奖杯
最后会颁发“最佳展示奖”（由 RTL 评审团投票选出）和“观众选择奖”（由观众投票选出）。我很幸运，在我参加的两年（2024 年和 2026 年）都赢得了一些奖项。当活动结束时，我会感到有点伤感，因为我期待了这么久，而现在它结束了。这与在会议上做学术演讲的氛围完全不同。
我鼓励拥有酷炫游戏演示、图形/可视化技术，甚至像机器人技术这样的交互式物理系统的读者考虑提交作品。
还有什么想补充的吗？
Tim McGraw：如果有任何解剖学或生物学教育工作者对这个项目感兴趣，请与我们联系。同样，如果有人能分享冷冻切片图像，也请联系我们。
可见的狗体解剖结构
蒂姆·麦格劳（Tim McGraw），博士，普渡大学副教授
相关链接
原文链接：https://80.lv/articles/dissectible-anatomy-lets-users-cut-tear-virtual-bodies-in-real-time
喜欢这篇内容吗？