开发者用 Apple SHARP 模型把单张图片变成高斯泼溅粒子生成器

AI3D 发表于 3 周前 浏览 2 分类 新闻资讯

Magical Particle Generator Made with Apple's SHARP Model
来源图像

开发者 Tyler J Cagle 展示了他的粒子生成器,该生成器接收一张图像,并使用 Apple 的 SHARP 模型将其转换为高斯泼溅(Gaussian splat),这是一种“从单张图像进行照片级真实感视图合成的方法”,它回归场景的 3D 高斯表示的参数。

“SHARP 生成的 3D 高斯表示随后可以实时渲染,为邻近视角生成高分辨率照片级真实感图像。该表示是度量化的,具有绝对尺度,支持度量相机运动。”

3D Gaussian Splatting 是一种渲染技术,它利用 3D 高斯来表示场景,从而允许人们从 2D 影像中合成 3D 场景。简而言之,它通过使用机器学习将点云转换为高斯,对图像进行采样并将其转换为 3D 场景,而无需创建网格。你可以 在这里了解更多信息。

Cagle 的作品展示了一种看起来像梦境般的结构,全部取自照片,朦胧而空灵。该应用可以改变粒子的数量和大小,并调整其他参数。

该项目的灵感来自 Cullen Webber 的粒子流场,它是在 WebGL 中使用 Three.js 创建的。

看起来该生成器生成的文件体积相当大,但这仍然是一个很棒的实验,若能用于实际生产会非常酷。

高斯泼溅(Gaussian splatting)已经不再新鲜,开发者们已经为 虚幻引擎 5 和 Cinema 4D 制作了插件,还用它做出了爆炸效果,甚至还有蜜蜂。

相关链接

原文链接:https://80.lv/articles/magical-particle-generator-made-with-apple-s-sharp-model

喜欢这篇内容吗?