🔥 今日值得一读 单图生成3D场景新突破:环境与物体联合建模,空间一致性超越基线方法!
DistScene: Object-to-Scene Distillation for 3D Scene Generation
arXiv CV (cs.CV) 🔥 重点 #3D场景生成#知识蒸馏#单图重建 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
从单张图生成带环境几何上下文的组合式3D场景,适合内容创作与仿真。

📖 AI 总结

本文提出 DistScene,一个面向单图像组合式三维场景生成的框架,其核心思路是同时建模环境与单个物体,而非像现有方法那样仅将场景视为物体的集合。为此,作者引入三项关键设计:场景框架生成(Scene-Frame Generation)在共享坐标系中联合生成独立的环境与物体组件,使几何结构与相对位置能够被共同学习;物体中心细化(Object-Centric Refinement)在局部坐标系中结合场景上下文对每个物体进行精修;物体到场景蒸馏(Object-to-Scene Distillation)则通过自动组合并渲染合成场景,将预训练的物体生成先验迁移至场景生成任务。在室内与室外基准上的评估表明,该方法在场景级空间连贯性上优于所对比的基线。该工作为单图三维场景生成提供了一种显式建模环境几何上下文的新范式,有助于提升生成场景的整体一致性与物体布局的合理性。

🔑 关键词速览

DistScene本文提出的单图像组合式三维场景生成框架,通过联合建模环境和物体实现场景生成。
Scene-Frame Generation一种在共享坐标系中联合生成独立环境和物体组件的方法,使几何与相对位置可共同学习。
Object-Centric Refinement一种在局部坐标系中结合场景上下文对每个物体进行细化的技术。
Object-to-Scene Distillation一种通过自动合成和渲染场景,将预训练物体生成先验迁移到场景生成中的蒸馏方法。
compositional 3D scene generation指从单张图像生成由多个独立物体和环境组成的完整三维场景的任务。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅