多模态大模型空间推理竟有四大数据构建法，评估标准却五花八门！
Towards a Data-Centric Understanding of Spatial Reasoning in Multimodal Large Language Models
📖 AI 总结
这篇综述从数据视角系统梳理了多模态大语言模型（MLLMs）空间推理能力的研究现状。作者聚焦于面向空间推理任务的微调方法，涵盖监督学习到强化学习，并重点考察所使用数据集的设计、模态与标注方式以及模型评估手段。研究将现有工作归纳为数据集设计、数据集构建与评估三大类别，识别出四种构建固定空间标注的主要方法：规则与模板、LLM提示、程序化生成以及人在回路。文章还发现评估方式差异显著，体现在评分方法、容差指标和基准类型上。基于这些分析，作者指出未来研究方向，包括统一动态标注、高效空间推理、评估标准化、扩展空间范围以及以人为中心的空间交互。该综述为理解数据在MLLMs空间推理能力提升中的作用提供了系统性框架。
🔑 关键词速览
| 多模态大语言模型 (MLLMs) | 能够同时处理文本、图像等多种模态输入的大规模预训练语言模型。 |
| 空间推理 | 理解和推断物体在空间中的位置、方向、距离等关系的能力。 |
| 后训练 | 在预训练模型基础上，通过微调或强化学习等方式进一步提升特定能力的训练阶段。 |
| 人在回路 (Human-in-the-loop) | 在数据构建或模型训练过程中引入人工参与和反馈的交互式方法。 |
| 程序化生成 | 利用算法或程序自动生成数据（如空间标注）的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅