🔥 今日值得一读
内窥镜4D基础模型SCOPE-4D：单目视频单次前向预测相机、几何与3D组织轨迹，5千片段训练实现更稳重建
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
👨💼 主理人解读 · 为什么值得关注
为内窥镜导航和机器人辅助提供单目视频的4D几何理解，可解决相机运动与组织形变歧义。
📖 AI 总结
SCOPE-4D是一种面向内窥镜场景的4D几何基础模型，能够从单目RGB视频中单次前向推理同时预测相机参数、稠密几何结构和3D组织轨迹。针对内窥镜几何学习中几何标注稀缺以及相机运动与组织形变难以区分两大难题，作者构建了SCOPE-5K数据集，包含约5000段覆盖真实与合成胃肠内窥镜及腹腔镜手术的视频片段，并提供丰富的几何监督信号，同时新增了体模与真实结肠镜评估集。研究提出Common-Residual Motion（CRM）约束，用于在组织整体运动背景下刻画局部形变。实验表明，在SCOPE-5K上进行几何监督微调可学习有效的内窥镜先验，结合CRM与轨迹监督后，相机与深度估计性能进一步提升，并实现稠密3D组织跟踪。在公开及新采集基准上的评估显示，该模型在域内与域外几何估计、3D跟踪及长序列结肠重建稳定性方面均表现优异，盲法用户研究也支持其在真实临床视频上的重建质量。
🔑 关键词速览
| SCOPE-4D | 一种内窥镜4D几何基础模型，能从单目RGB视频中联合预测相机参数、稠密几何和3D组织轨迹。 |
| SCOPE-5K | 一个包含约5,000个片段的内窥镜视频数据集，涵盖真实和合成的胃肠内窥镜与腹腔镜，提供丰富的几何监督。 |
| Common-Residual Motion (CRM) | 一种运动约束方法，将组织运动分解为共同运动和残差运动，以约束局部变形并改善几何估计。 |
| 几何监督微调 | 在SCOPE-5K数据集上利用几何标注对模型进行微调，以学习内窥镜先验知识，提升相机和深度估计性能。 |
| 3D组织跟踪 | 在视频序列中跟踪组织表面的三维运动轨迹，用于内窥镜导航和机器人辅助。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅