研究愿景与发展路线

以三维智能构建世界模型

我的研究关注机器如何重建、生成并最终模拟连贯的三维环境。整体路线把可靠的空间表示与可扩展的生成先验连接起来:从神经重建与可编辑的场景理解出发,发展预训练三维资产生成,进而探索面向具身智能的开放式世界模型。

研究方向

世界模型与无限三维世界

生成大规模连续环境,并在世界持续扩展时保持几何和外观一致性。

  • WorldGrow — 基于分层场景块的无限三维场景生成。
  • WorldAct — 由我发起并参与指导,将静态三维世界转化为可编辑、可交互的物体中心场景(NeurIPS 2026)。

预训练与可控三维生成

学习可扩展三维先验,同时提供对外观、语义和可编辑物体结构的控制能力。

  • SUPRA-Tex — 我以第一作者完成的最新工作,从单张图像生成纹理与输入精准对齐的 PBR 三维资产。
  • UniLat3D — 几何与外观统一的三维潜变量,单阶段生成带纹理资产;我负责其中的 mesh decoder。
  • TIGON — 图文联合条件三维生成。
  • SCULPT — 我作为共同一作并参与指导,提出基于减法式组合的部件级三维生成。

三维重建与空间表示

从稀疏观测恢复高质量、可浏览的三维内容,并让场景表示服务于后续交互任务。

  • GaussianObject — 仅凭四张图像的高质量 Gaussian Splatting 重建。
  • NeRFVS — 基于几何支架的室内自由视角合成。
  • SA3D — 神经三维场景中的交互式分割。

动态与医疗空间智能

面向形变场景与复杂手术观测,联合建模几何、运动和可靠性。

  • LerPlane — 可变形组织快速四维重建。
  • EndoGSLAM — 内窥镜稠密重建与跟踪。
  • ForPlane — 高效动态神经表示。

研究路线

  1. 2021–2023 · 表示可靠的神经场景表示。NeRFVS、SA3D 和 LerPlane 分别探索几何先验、交互式理解与高效动态重建。
  2. 2024 · 重建从有限观测恢复高质量三维。GaussianObject 和 EndoGSLAM 将 Gaussian Splatting 用于极稀疏视角与医疗场景。
  3. 2025–2026 · 生成可扩展、可控制的三维先验。UniLat3D、TIGON、SCULPT 与 SUPRA-Tex 将统一的生成表示推进到多模态控制、可编辑部件与图像对齐的 PBR 纹理。
  4. 2025 起 · 产品模型研发小艺 3D 基模型。我负责该模型的端到端研发,覆盖技术方向、技术路线、实验推进与核心实现;模型已应用于团队产品小艺3D × 像素匠PRO。
  5. 2026 起 · 世界模型开放式空间智能。WorldGrow 与 WorldAct 将生成式三维先验连接到可持续扩展、以物体为中心且可交互的大规模环境。

开放研究与可复现公平比较

代表性项目均公开代码,或提供可供核查的项目主页、仓库、演示与完整论文记录,目的是降低独立复现与公平比较的成本,而不只是展示精选结果。

  • 公开项目材料:WorldAct 的仓库目前提供项目主页资源、演示与配套材料,方法实现代码尚未发布。
  • 开放实现:SUPRA-Tex、SCULPT、TIGON、UniLat3D、WorldGrow、GaussianObject、SA3D 与 LerPlane 提供源代码或可复现实现材料。
  • 可核查的记录:每项工作都有稳定的论文页面,汇总论文、DOI 或 arXiv 编号、代码、可用的数据与模型、BibTeX 及研究关键词。
  • 完整的比较基线:工作覆盖重建、生成、多模态控制、可编辑结构与大规模场景,可沿同一条技术路线横向比较。
  • 机器可读记录:全部研究成果均提供论文 JSON、BibTeX、Atom feed 和研究者档案。

这些工作体现的能力

这些工作覆盖世界模型、三维生成、空间智能、三维重建与具身智能,不止于单篇论文的结果,而是贯穿问题定义、开放实现、大规模生成到产品落地的完整链条。

  • 技术深度:工作涵盖神经场景表示、Gaussian Splatting、三维生成潜空间、图像对齐的 PBR 纹理、多模态条件、组合式资产、户型图到住宅生成,以及可交互的物体中心世界。
  • 研究连续性:从重建与场景理解逐步推进到可控三维生成和基础世界模型。
  • 从研究到产品:小艺 3D 基模型已落地消费级创作产品小艺3D × 像素匠PRO,团队产品上线 50 小时用户数突破 4 万。
  • 开放评测:公开的实现与稳定的文献记录,让其他研究者和团队可以直接核查、复现并比较这些工作。

正在探索的问题

  • 基础世界模型如何在长距离空间扩展中保持几何、外观和语义一致?
  • 预训练三维生成模型如何在不牺牲资产质量的前提下提供组合式结构?
  • 重建、生成与模拟能否共享同一种可扩展空间表示?
  • 这些模型如何支持理解、想象并与物理环境交互的具身智能体?