🔥 今日值得一读
最强MLLM在10分钟视频上仅5.4%m-vIoU，Event-STVG新基准揭示长视频事件推理难题！
Event-STVG: Spatio-Temporal Video Grounding for Long-Form Event Reasoning
👨💼 主理人解读 · 为什么值得关注
为长视频事件推理提供新基准，可用于评测和训练多模态模型在重复事件与长上下文中的定位能力。
📖 AI 总结
该论文提出Event-STVG任务，将时空视频定位从基于实例描述的目标定位转向事件级推理，统一了长程上下文理解、重复事件推理、事件定位、角色推断和多目标定位等能力。为支撑研究，作者构建了覆盖足球等八个领域、包含4016个标注事件发生的大规模基准。对当前先进多模态大模型的实验显示任务难度显著，最强模型在10分钟时间跨度上仅取得5.4%的m-vIoU。研究还发现模型普遍存在同类重复事件混淆、空间定位瓶颈以及难以同时定位全部所需角色等问题。该工作为多模态大模型的视觉理解设立了新挑战，要求未来模型具备跨时空联合推理复杂事件的能力。
🔑 关键词速览
| Spatio-Temporal Video Grounding (STVG) | 时空视频定位，指根据自然语言查询在视频中同时定位目标的空间位置和时间片段的任务。 |
| Event-STVG | 本文提出的新任务，将STVG从实例描述定位转向事件级推理，涵盖长篇上下文、重复事件推理、事件定位、角色推断和多目标定位。 |
| Multimodal Large Language Models (MLLMs) | 多模态大语言模型，能够同时处理文本、图像、视频等多种模态信息的大规模预训练语言模型。 |
| m-vIoU | 平均视频交并比，一种评估时空定位性能的指标，衡量预测与真实标注在空间和时间上的重叠程度。 |
| Long-form Event Reasoning | 长篇事件推理，指对视频中持续时间较长、包含复杂上下文和重复事件的场景进行高层次理解和推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅