GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting

一句话概述

GaussianObject 结合显式几何初始化、浮游点消除和面向不可见内容的扩散修复，仅从四张图像构建高质量三维高斯表示。

摘要

从极少视图重建三维物体十分困难，因为有限图像难以提供充分的多视图约束，并会留下大量不可见区域。GaussianObject 使用三维高斯泼溅，仅从四张输入图像重建并渲染物体。方法首先通过视觉外壳初始化和浮游点消除，在优化早期注入结构先验，得到粗略但一致的高斯表示；随后使用基于扩散模型的高斯修复网络补充缺失信息并进一步优化表示，其训练图像对通过自生成策略获得。方法还提供无需预先给定精确相机位姿的 COLMAP-free 版本，同时保持有竞争力的质量。在 MipNeRF360、OmniObject3D、OpenIllumination 以及自采集无位姿图像上的实验表明，该方法在极端稀疏视图条件下仍能实现优秀的重建和渲染效果。

主要贡献

• 仅使用四个视图重建高质量三维高斯物体。
• 结合结构感知初始化和针对不可见内容的扩散修复。
• 提供无需精确输入位姿的 COLMAP-free 重建版本。

引用

@article{yang2024gaussianobject,
  title={GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting},
  author={Yang, Chen and Li, Sikuang and Fang, Jiemin and Liang, Ruofan and Xie, Lingxi and Zhang, Xiaopeng and Shen, Wei and Tian, Qi},
  journal={ACM Transactions on Graphics},
  year={2024},
  doi={10.1145/3687759}
}