LSRM:稀疏多视图重建高保真物体
论文 / 研究阅读

LSRM:稀疏多视图重建高保真物体

LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows

2026 · ECCV 2026 Long Oral · Meta Reality Labs Research

Li, Zhengqin、Zhang, Cheng、Engel, Jakob、Dong, Zhao

导读

Meta 的物体重建研究,从带相机位姿的稀疏多视角图像前馈预测几何、纹理与材质;代码和模型采用非商业许可。

研究问题

Meta Reality Labs Research 的 LSRM 面向物体级三维重建与逆渲染:从带相机位姿的稀疏多视角图像,一次前馈预测高保真几何与外观。研究关注前馈模型在精细纹理和材质表现上落后于稠密视图逐场景优化的问题,适合研究资产数字化和可重光照数字孪生,而不是面向普通电脑的一键单图建模插件。

方法与论文结果

作者扩大 Transformer 上下文中的有效物体与图像 token,结合原生稀疏注意力控制计算成本。粗到细流程预测稀疏高分辨率残差,几何距离路由建立二维与三维对应,自定义序列并行处理动态稀疏负载。论文在指定基准中报告纹理、几何与 LPIPS 改善,不能据此概括为所有素材都达到或超过稠密优化质量。项目页标注 ECCV 2026 Long Oral。

输入与可交付成果

RGB 路径输出 OBJ 网格、UV、纹理、有效区域遮罩和新视图;逆渲染路径额外生成反照率、粗糙度与金属度贴图,可由 Blender 重新渲染和重光照并保存 PNG/EXR。官方提供 GSO、ORB、DTC 示例与模型权重。自有数据需按格式整理相机位姿、遮罩及场景归一化,不能直接把一组未知机位照片扔进去就期待完整流程自动完成。

复现门槛与适用对象

环境为 Python 3.10、PyTorch 2.4.0 与 CUDA 12.1。作者在 NVIDIA H200 测试,说明推理显存需求低于 40GB,但并未保证常见 8GB 显卡可运行。还需要申请 DINOv3 对应权重、安装源码并准备 Blender Linux 渲染环境,作者测试版本为 4.5.3。更适合有较强 GPU 和工程经验的研究团队、技术美术及资产管线开发者。

许可与限制

代码和官方模型为 CC BY-NC 4.0,属于非商业授权的公开研究资源,不能标成无限制商用开源。它使用合成数据训练并在真实数据上评估,但仍可能在遮挡、反光及数据分布外物体上出错;最终网格、贴图和材质需要按目标生产流程检查。

官方链接

引用这篇论文
@misc{lsrm2026,
  title = {LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows},
  author = {Li, Zhengqin and Zhang, Cheng and Engel, Jakob and Dong, Zhao},
  year = {2026},
  eprint = {2604.05182},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2604.05182}
}
COMMUNITY

评分与讨论

0 条讨论
—

欢迎评价研究价值与复现体验

从你的第一条分享开始

可以聊聊实际效果、安装经验,或者你想解决的一个小问题。