SuperClip金字塔让视频时序定位在五大基准上全拿最佳，性能增益亮眼！
SuperClip Pyramid for Video Temporal Grounding
📖 AI 总结
该论文针对视频时序定位任务中的片段检索与高光检测，指出现有DETR式解码器或时序金字塔架构依赖单一尺度特征图或均匀下采样表示，难以捕捉语义边界和变长事件。作者提出SCVTG模型，通过将相邻片段分组为语义连贯的SuperClip构建多尺度时序金字塔，并引入时序自适应核以时序条件权重聚合变长SuperClip，同时设计相对显著性损失引导模型学习片段间重要性。实验表明，该模型在五个视频时序定位基准上均取得最佳性能，为多粒度事件定位提供了有效方案。
🔑 关键词速览
| 视频时序定位 (Video Temporal Grounding) | 根据自然语言查询在视频中定位特定时间片段的任务，包含时刻检索和高光检测两个子任务。 |
| SuperClip 金字塔 (SuperClip Pyramid) | 通过将相邻视频片段分组为语义连贯的SuperClips而构建的多尺度时序层次结构。 |
| 时序自适应核 (Temporally Adaptive Kernel) | 一种根据时间条件权重聚合可变时长和位置的SuperClips的机制，实现灵活的特征聚合。 |
| 相对显著性损失 (Relative Saliency Loss) | 一种引导模型学习片段间相对重要性、增强区分相关事件能力的损失函数。 |
| 时刻检索 (Moment Retrieval, MR) | 视频时序定位的子任务，旨在根据查询检索视频中对应的具体时刻片段。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅