🔥 今日值得一读
竞技游戏变身AI视频测试场，180项任务测出模型时空理解短板！
Video-Arena: A Scalable Agentic Video Benchmark for Spatiotemporal Capability
👨💼 主理人解读 · 为什么值得关注
开发者可用它评测视频模型对动态世界状态的追踪与理解能力。
📖 AI 总结
本文提出 Video-Arena，一个面向时空世界状态理解与追踪的可扩展智能体视频基准。针对真实视频中世界状态部分可观测、标注困难的问题，该基准将竞技游戏录像转化为可验证的评测任务，涵盖感知关键事件、解读状态更新和追踪状态变化三类能力，并能从游戏记录中规模化生成视频与对齐标签。为兼顾成本与可复现性，作者构建了覆盖9款游戏、共180项任务的黄金测试集，并在原生视觉理解与工具辅助的智能体分析两种协议下评测。结果显示，最佳系统在两种协议下的F1分数均不理想：原生模型难以可靠感知事件，工具辅助系统虽能改善事件恢复，但在解读状态更新和持续追踪状态方面仍存在明显不足。该工作为评估模型对动态世界的连贯理解提供了新思路。
🔑 关键词速览
| Video-Arena | 本文提出的可扩展智能体视频基准，利用竞技游戏构建可验证的时空世界状态理解测试。 |
| Spatiotemporal Capability | 时空能力，指模型在时间和空间维度上理解和跟踪动态世界状态的能力。 |
| Agentic Analysis | 智能体分析，指借助外部工具辅助模型进行推理和决策的评估协议。 |
| Golden Set | 黄金集，指经过精心筛选和标注的高质量基准任务集合，用于确保评估的可靠性和可复现性。 |
| F1 Score | F1 分数，综合精确率和召回率的评估指标，用于衡量模型在事件感知和状态跟踪任务上的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅