🔥 今日值得一读
统一模型刷榜Waymo和nuScenes，检测几何联合训练mAP涨1.2点、平移误差降13.4%！
Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles
👨💼 主理人解读 · 为什么值得关注
一个模型搞定自动驾驶多相机感知与重建，开发者可基于其开源基准PAI-Foundation4D做端到端感知。
📖 AI 总结
NVIDIA 团队提出的 Foundation4D 是一个面向自动驾驶多相机视频的统一前馈模型，可同时完成几何估计、3D 检测、语义占用预测与高斯重建。模型以共享骨干网络结合因子化时空注意力，跨相机与时间高效融合观测，并通过位姿图优化精化相机轨迹、跨窗口组装目标轨迹。团队还构建了数据标注流程，发布包含 1,253 段驾驶片段稠密深度与语义占用标签的 PAI-Foundation4D 基准。实验显示，经基准微调后，该模型在 Waymo 和 nuScenes 上取得最低深度 AbsRel，在 nuScenes 上取得最高检测 mAP，在 OpenOccupancy 上取得最高占用 mIoU。任务组合研究表明，检测与几何、占用联合训练使 top-class mAP 较仅检测训练提升 1.2 点，几何与检测联合训练使相机到支架平移误差较仅几何训练降低 13.4%。此外，预测的几何与轨迹可作为无激光雷达 NuRec 的先验，支持驾驶场景重建与仿真。
🔑 关键词速览
| Foundation4D | 本文提出的统一前馈模型，可同时完成几何估计、3D检测、语义占用和高斯重建。 |
| 因子化时空注意力 | 一种将时空注意力分解为空间和时间两个维度的注意力机制，用于高效融合多相机和多帧观测。 |
| 位姿图优化 | 一种通过优化位姿图来 refine 相机轨迹的方法，常用于SLAM和三维重建中。 |
| 语义占用 | 预测三维空间中每个体素的语义类别，用于表示场景的稠密几何和语义信息。 |
| 高斯重建 | 使用三维高斯表示场景并进行渲染重建的方法，常用于新视角合成和场景重建。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅