航空视频评测错得离谱：315次实验证实条件越难准确率越崩，人类甩开AI至少19个点！
The Gap Is in the Geometry: A Convergent Meta-Analysis of Multi-Facet Aerial and Remote Sensing Video Understanding
📖 AI 总结
这篇论文对航空与遥感视频理解领域的评测方法提出质疑，认为当前沿用网络视频的多选题评测范式测量的是错误的能力维度。作者通过一项汇聚性元分析，整合四层证据体系下的已发表结果，得出若干关键发现：模型参数规模每扩大十倍，在航空基准上的准确率中位数仅提升约3.4个百分点，远低于人类至少19个百分点的差距；采集条件对感知结果具有决定性影响，19组论文内对比中的318次评测里有315次在高度、视角、目标尺寸或时间跨度等条件变难时准确率下降；现有语料中没有任何航空基准同时具备视频输入与逐任务的人类基线和随机基线；模型能力从回答问题到闭环导航中的行动出现明显崩塌；同一批多模态大模型在航空基准上的得分高于地面空间基准，却在跨视角几何测试中表现更差。基于这些发现，论文提出五条可证伪原则，并设计AVU-Card作为航空视频基准的规范化报告卡片，其核心结论是：真正的差距在于几何建模能力，而非参数规模或单纯的问答准确率。
🔑 关键词速览
| 多模态大语言模型 (MLLMs) | 能够同时处理文本、图像等多种模态输入的大型语言模型，常用于视觉问答等任务。 |
| 元分析 (Meta-Analysis) | 一种统计方法，通过整合多个独立研究的结果来得出更可靠的综合性结论。 |
| 航空视频理解 (Aerial Video Understanding) | 对由无人机、卫星等航空平台采集的视频进行自动分析和语义理解的研究领域。 |
| AVU-Card | 本文提出的用于航空视频基准测试的标准化报告卡片，旨在规范评估信息的呈现。 |
| 闭环导航 (Closed-loop Navigation) | 智能体根据实时感知和决策在环境中持续移动并调整路径的任务范式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅