该研究针对火灾后物体因不可逆物理变化而难以识别的问题,提出了TRACE基准,包含2.14万张真实图像衍生的合成场景,覆盖189类、499个物体身份,并定义检测、原始状态恢复与检索、材料恢复、描述生成和功能推理五项任务。实验显示,现有模型随损伤加重性能急剧下降,RF-DETR的mAP相对下降71%,InternVL3.5检索R@1从93.85降至28.11。为此,作者提出即插即用的特征恢复模块FRM,在冻结宿主模型的前提下将退化编码器特征映射为原始对齐表示,仅用配对特征监督训练,即可提升场景级检测、CLIP/SigLIP2特征恢复及四项VLM任务,且损伤越重增益越大,平均相对提升为检索12.5%、材料恢复20.1%、描述生成13.2%、功能推理12.4%。该工作为灾后物体理解提供了基准与方法。
| TRACE | 一个面向火灾后物体理解的变换感知基准,包含合成场景和物体退化序列。 |
| Feature Recovery Module (FRM) | 一种即插即用模块,将退化特征映射到原始对齐表示,提升下游任务性能。 |
| RF-DETR | 一种基于Transformer的目标检测模型,在火灾后物体检测任务中作为基线。 |
| InternVL3.5 | 一个视觉语言模型,用于检索等任务,在退化场景下性能显著下降。 |
| CLIP/SigLIP2 | 视觉-语言预训练模型,用于特征提取和恢复评估。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅