感知先验注入3D高斯分割,三大基准刷新SOTA!
PePESeg3D: Perception Prior Enhances Multi-Scale Segmentation for 3D Gaussian Splatting
arXiv CV (cs.CV) 重要 #3D高斯泼溅#语义分割#感知先验 🕐 今天 12:00

📖 AI 总结

本文提出 PePESeg3D,一个面向 3D 高斯泼溅(3DGS)的多尺度分割框架,旨在解决现有方法中几何重建缺乏语义感知、分割特征学习依赖不完整掩码监督的问题。该框架的核心思路是将感知先验同时注入几何重建与特征学习两个环节:在重建阶段引入单目深度与掩码约束,使物体结构具备语义一致性;在对比学习阶段利用稠密深度—颜色线索和视角一致的中心点监督,弥补二维基础模型生成的多尺度掩码不完整的缺陷。在 SPIn-NeRF、LERF-Mask 和 NVOS 三个基准上的实验表明,该方法在多尺度分割与场景重建两项任务上均达到当前最优性能,说明将感知先验同时融入几何优化与特征学习,对实现准确的多尺度三维分割具有关键作用。该工作已被 BMVC 2026 接收。

🔑 关键词速览

3D Gaussian Splatting (3DGS)一种使用3D高斯基元表示和渲染场景的实时辐射场技术。
Multi-Scale Segmentation在多个粒度级别上对3D场景进行语义分割的任务。
Perception Priors来自预训练模型(如单目深度估计)的先验知识,用于增强几何和语义理解。
PePE Reconstruction本文提出的结合单目深度和掩码约束的几何重建方法,确保语义一致的物体结构。
PePE Contrastive Learning本文提出的利用深度-颜色线索和质心监督的对比学习方法,补偿不完整的掩码监督。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅