研究方向
世界模型与无限三维世界
生成大规模连续环境,并在世界持续扩展时保持几何和外观一致性。
- WorldGrow — 基于分层场景块的无限三维场景生成。
- WorldAct — 由我发起并参与指导,将静态三维世界转化为可编辑、可交互的物体中心场景(NeurIPS 2026)。
预训练与可控三维生成
学习可扩展三维先验,同时提供对外观、语义和可编辑物体结构的控制能力。
- SUPRA-Tex — 我以第一作者完成的最新工作,从单张图像生成纹理与输入精准对齐的 PBR 三维资产。
- UniLat3D — 几何与外观统一的三维潜变量,单阶段生成带纹理资产;我负责其中的 mesh decoder。
- TIGON — 图文联合条件三维生成。
- SCULPT — 我作为共同一作并参与指导,提出基于减法式组合的部件级三维生成。
三维重建与空间表示
从稀疏观测恢复高质量、可浏览的三维内容,并让场景表示服务于后续交互任务。
动态与医疗空间智能
面向形变场景与复杂手术观测,联合建模几何、运动和可靠性。
研究路线
- 2021–2023 · 表示可靠的神经场景表示。NeRFVS、SA3D 和 LerPlane 分别探索几何先验、交互式理解与高效动态重建。
- 2024 · 重建从有限观测恢复高质量三维。GaussianObject 和 EndoGSLAM 将 Gaussian Splatting 用于极稀疏视角与医疗场景。
- 2025–2026 · 生成可扩展、可控制的三维先验。UniLat3D、TIGON、SCULPT 与 SUPRA-Tex 将统一的生成表示推进到多模态控制、可编辑部件与图像对齐的 PBR 纹理。
- 2025 起 · 产品模型研发小艺 3D 基模型。我负责该模型的端到端研发,覆盖技术方向、技术路线、实验推进与核心实现;模型已应用于团队产品小艺3D × 像素匠PRO。
- 2026 起 · 世界模型开放式空间智能。WorldGrow 与 WorldAct 将生成式三维先验连接到可持续扩展、以物体为中心且可交互的大规模环境。
开放研究与可复现公平比较
代表性项目均公开代码,或提供可供核查的项目主页、仓库、演示与完整论文记录,目的是降低独立复现与公平比较的成本,而不只是展示精选结果。
这些工作体现的能力
这些工作覆盖世界模型、三维生成、空间智能、三维重建与具身智能,不止于单篇论文的结果,而是贯穿问题定义、开放实现、大规模生成到产品落地的完整链条。
- 技术深度:工作涵盖神经场景表示、Gaussian Splatting、三维生成潜空间、图像对齐的 PBR 纹理、多模态条件、组合式资产、户型图到住宅生成,以及可交互的物体中心世界。
- 研究连续性:从重建与场景理解逐步推进到可控三维生成和基础世界模型。
- 从研究到产品:小艺 3D 基模型已落地消费级创作产品小艺3D × 像素匠PRO,团队产品上线 50 小时用户数突破 4 万。
- 开放评测:公开的实现与稳定的文献记录,让其他研究者和团队可以直接核查、复现并比较这些工作。
正在探索的问题
- 基础世界模型如何在长距离空间扩展中保持几何、外观和语义一致?
- 预训练三维生成模型如何在不牺牲资产质量的前提下提供组合式结构?
- 重建、生成与模拟能否共享同一种可扩展空间表示?
- 这些模型如何支持理解、想象并与物理环境交互的具身智能体?