VGG-T³:面向大量图像的离线前馈三维重建研究
论文 / 研究阅读

VGG-T³:面向大量图像的离线前馈三维重建研究

VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale

2026 · arXiv 预印本 · NVIDIA 等研究团队

Elflein, Sven、Li, Ruilong、Agostinho, Sérgio、Gojcic, Zan、Leal-Taixé, Laura、Zhou, Qunjie、Osep, Aljosa

导读

通过测试时训练改写注意力计算路径,面向大量图像离线预测相机、深度与三维点;公开代码和模型仅限非商业用途。

它能做什么

NVIDIA、多伦多大学和 Vector Institute 的离线前馈大规模三维重建方法。以基于 test-time training 的线性替代全局 softmax attention,改善多图重建扩展性。可从照片集合或视频预测相机、深度与世界坐标点图。适合关注多图三维重建扩展性、相机估计和点图预测的研究者。方法将全局注意力的二次扩展瓶颈替换成基于测试时训练的线性路径,目标是让大量图像也能在一次离线流程中处理。项目报告千张图像少于一分钟,对比 VGGT 约十分钟,但这是作者报告的实验结果,不能据此承诺在任意设备和分辨率上达到同一速度。实际集成应先从少量图像跑通、观察置信度与点图,再评估完整场景的显存和计算需求。

输入、输出与使用流程

输入:图像集合;交互演示也支持视频。输出:camera-to-world 4×4、3×3内参、逐像素世界坐标pts3d、置信度conf、depth;不是直接完整PBR资产。请按官方示例先完成最小流程,再依据自己的资产要求调整参数;下游软件的格式兼容性与交付质量需要分别检查。

安装与运行门槛

PyTorch2.7.1、torchvision0.22.1、CUDA12.6 wheel,pip install .;下载 nvidia/vgg-ttt 权重,代码.cuda();python vggttt/demo.py 启动 Gradio+viser。 硬件说明:CUDA GPU 实现;README未提供统一最低显存,以具体实现和设备为准。1千张图少于1分钟是论文/项目宣称,不能套到任何硬件。

使用边界与许可

训练 harness 公开,但数据集实现和预处理代码缺失。 非商业许可证,不能标“可自由商用”。 远程演示需转发Gradio及viser两个端口。 非单图生成器,也不承诺输出带材质网格。 授权核对:NVIDIA OneWay Noncommercial(代码与模型);VGGT/MIT/CC BY-NC-SA 4.0 子组件另附。下载模型本地推理,无必需付费API;商用不在公开许可内。

官方资料

引用这篇论文
@misc{vggttt2026,
  title = {VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale},
  author = {Elflein, Sven and Li, Ruilong and Agostinho, Sérgio and Gojcic, Zan and Leal-Taixé, Laura and Zhou, Qunjie and Osep, Aljosa},
  year = {2026},
  eprint = {2602.23361},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2602.23361}
}
COMMUNITY

评分与讨论

0 条讨论
—

欢迎评价研究价值与复现体验

从你的第一条分享开始

可以聊聊实际效果、安装经验,或者你想解决的一个小问题。