Scantic:在 iPhone 上全程本地训练 3D Gaussian Splats 的新应用

AI3D 发表于 08-20 浏览 0 分类 新闻资讯

软件开发人员 Sebastian Beyer 日前发布了一款名为 Scantic 的全新 iPhone 应用,可以通过普通手机摄影素材生成物体与环境的 3D Gaussian Splats(3DGS)模型。整个训练过程“不到一分钟”,与同类应用不同的是,所有计算都在手机本地完成,扫描数据不会上传云端。


Scantic 属于不断壮大的 3D Gaussian Splatting 工具家族。这是一种从源图像或视频中重建真实世界对象的新方法,可生成高质量、快速渲染的 3D 表示。与其他类似工具一样,用户只需开始一次扫描,然后环绕目标物体或环境移动手机,最后 Scantic 会根据采集到的图像生成 Splat。小型扫描的处理时间“不到一分钟”,导出的 Splat 为 PLY 格式,可直接用于支持 3DGS 数据的 DCC 应用。

Scantic 扫描效果

纯本地处理

CG Channel 此前报道过其他支持生成 3D Gaussian Splats 的移动应用,比如 Kiri Engine 和 Polycam。这两款应用功能更全面,带有裁剪与编辑扫描数据的工具。然而,Scantic 的特殊之处在于所有处理都在用户手机本地完成,原始数据不会被上传到云端。这不仅避免了潜在的安全问题,还省去了一个耗时的步骤。Beyer 表示,Scantic 在别的应用还在上传数据的时候,就已经可以直接训练出 Splat。

从个人项目到正式应用

Beyer 的软件工程背景让他并非 CG 美术出身,但他个人会用 Blender。Scantic 源于一个自我要求的夏季项目:他想在不是 3DGS 专家的情况下,借助 AI 编码工具来提升现有 3D Gaussian Splatting 工作流的性能。他的第一个 Splat 是用开源的 Brush 引擎配合 iPhone 拍摄的素材生成的,在 MacBook Air 上训练花了三个多小时。但在 Claude Fable 5 这个 AI 模型的帮助下,他逐步优化性能,最终提升了最高 260 倍,然后开始把管线中越来越多的部分搬到 iPhone 上,最后“几乎是无意中”做出了一款纯 iPhone 应用。

未来计划与定价

未来,Beyer 希望能让 Scantic 直接用现有视频而非实时拍摄的素材来训练 Splat,并支持导出 SPZ 格式。此外,他可能会推出一个 macOS 配套应用,用于把扫描数据传到笔记本或台式机处理,但目前还没有 Android 版的计划。Beyer 解释:“Apple 产品的硬件范围相对可控,而 Android 上应用很可能只适用于部分高端设备,其余设备的使用体验会很差。”

Scantic 兼容 iOS 17.0+,要求设备搭载 A12 仿生芯片或更新型号,因此 2018 年的 iPhone XS 及以上都能运行。基础版免费,可以使用标准质量导出模式(生成经过精简的 Splat 数据);如果需要更高质量的导出,则需要付费解锁。

相关链接

原文链接:Scantic trains 3D Gaussian Splats entirely on your phone

喜欢这篇内容吗?