无人机语义感知翻车现场！重复观测竟会“闪烁”，新框架揭穿3D融合的稳定性假象
Understanding Temporal Semantic Stability in Open-Vocabulary UAV Perception through Metric 3D Fusion
📖 AI 总结
该研究聚焦于开放词汇分割模型在无人机（UAV）感知中的时间语义稳定性问题。作者指出，尽管这类模型在单帧语义理解上表现优异，但在移动平台重复观测同一场景时，预测结果常出现时间上的不一致。为此，他们提出了一种基于度量三维融合的体素级评估框架，将逐帧预测关联到持久的世界空间位置，并联合分析语义一致性、语义信念漂移、观测持久性和语义不确定性。在UAVid-3D数据集上的实验显示，帧间语义闪烁显著，且高聚合世界空间一致性可能高估时间稳定性，尤其在重复观测支持不足的位置。进一步分析表明，反复出现的体素暴露更多语义分歧，而信念漂移随证据积累而减少，该现象在两种分割骨干网络及多种参数变化下均保持一致。研究强调，观测持久性是评估长期语义可靠性的关键条件变量，语义一致性必须结合观测支持度来综合解读。
🔑 关键词速览
| Open-vocabulary segmentation | 一种语义分割方法，能够识别训练中未见过的类别，通过文本或视觉语言模型实现灵活分类。 |
| Metric 3D fusion | 将多视角2D图像预测融合到3D世界坐标系中的技术，利用度量尺度信息进行空间关联。 |
| Semantic Belief Drift (SBD) | 衡量同一位置在不同时间观测中语义预测变化的指标，反映语义信念的不稳定性。 |
| Observation Persistence (OP) | 表示一个3D位置被重复观测的次数或频率，用于评估观测支持程度。 |
| Voxel-level evaluation | 在3D体素（体积像素）级别进行的评估方法，用于分析空间位置的语义一致性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅