火灾后物体识别暴跌71%,FRM模块让严重退化下检索增益翻倍
Feature Recovery for Object Understanding After Irreversible Fire Damage
arXiv CV (cs.CV) 重要 #计算机视觉#基准数据集#灾害场景 🕐 09-14 12:00

📖 AI 总结

该研究针对火灾后物体因不可逆物理变化而难以识别的问题,提出了TRACE基准,包含2.14万张真实图像衍生的合成场景,覆盖189类、499个物体身份,并定义检测、原始状态恢复与检索、材料恢复、描述生成和功能推理五项任务。实验显示,现有模型随损伤加重性能急剧下降,RF-DETR的mAP相对下降71%,InternVL3.5检索R@1从93.85降至28.11。为此,作者提出即插即用的特征恢复模块FRM,在冻结宿主模型的前提下将退化编码器特征映射为原始对齐表示,仅用配对特征监督训练,即可提升场景级检测、CLIP/SigLIP2特征恢复及四项VLM任务,且损伤越重增益越大,平均相对提升为检索12.5%、材料恢复20.1%、描述生成13.2%、功能推理12.4%。该工作为灾后物体理解提供了基准与方法。

🔑 关键词速览

TRACE一个面向火灾后物体理解的变换感知基准,包含合成场景和物体退化序列。
Feature Recovery Module (FRM)一种即插即用模块,将退化特征映射到原始对齐表示,提升下游任务性能。
RF-DETR一种基于Transformer的目标检测模型,在火灾后物体检测任务中作为基线。
InternVL3.5一个视觉语言模型,用于检索等任务,在退化场景下性能显著下降。
CLIP/SigLIP2视觉-语言预训练模型,用于特征提取和恢复评估。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅