🔥 今日值得一读 一个框架通吃针孔鱼眼全景,零样本刷新单目三维重建纪录!
OmniPoint: Universal Monocular Metric Pointcloud from Any Camera
arXiv CV (cs.CV) 🔥 重点 #单目深度#3D重建#相机模型 🕐 09-10 12:00
👨‍💼 主理人解读 · 为什么值得关注
支持多种相机模型的单目度量3D重建,可用于机器人、AR等异构传感器场景。

📖 AI 总结

OmniPoint 是一个面向单目图像度量三维几何重建的统一框架,旨在解决现有方法受固定相机模型假设和僵化输入方式制约、彼此割裂的问题。该研究的关键在于放弃传统的平面深度回归,转而采用解耦的射线与距离表示及配套训练目标,将相机投影模型与场景结构显式分离,从而兼容针孔、鱼眼和等距柱状等多种投影方式。针对非透视相机训练数据稀缺的难题,作者提出双向增强策略,在三维空间中桥接有标注的透视数据与无标注的全向域数据;同时设计鲁棒的信息注入机制,利用可学习的输入状态嵌入消除架构歧义,并通过向量化高斯平滑对稀疏深度等不规则测量进行稠密化,避免特征分布偏移导致网络失稳。实验表明,OmniPoint 在多个基准上取得领先的零样本性能,为统一单目三维重建树立了新的标准。

🔑 关键词速览

OmniPoint本文提出的统一单目度量点云重建框架,支持多种相机模型。
Metric Reconstruction恢复场景真实物理尺度的三维几何结构。
Decoupled Ray and Distance Representation将相机投影模型与场景结构分离的表示方法,用射线和距离分别描述。
Bidirectional Augmentation在三维空间中桥接透视与全向数据域的双向数据增强策略。
Zero-shot Performance模型在未见过的新数据集上直接测试的性能,无需微调。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅