天文图表理解大考：2001张图、47357个问题，低成本多模态模型集体翻车！
Star Light, Star Bright: Can Multimodal Models Parse an Astronomy Visual Question Answering Dataset Right?
📖 AI 总结
该研究构建了一个面向天文学图像的领域专用视觉问答数据集，包含2001张图像（等分为等高线图、NASA SkyView真实望远镜图像，以及与真实图像共享坐标轴和角尺度但颜色取自高斯混合模型的合成天空图）和47357个问题，每张图像均提供原始版本和模拟历史文献页面老化的退化版本。作者测试了三款低成本专有大型多模态模型，发现它们在回答领域专用问题时普遍难以达到较高准确率。与104张经人工核验、带天体测量标注的历史期刊图像对比显示，模型与人类在角尺度估计上的中位误差相近。该工作揭示了当前低成本多模态模型在天文图像理解上的明显不足，并为科学文献中图形理解能力的评估提供了可复用的数据集与基准。
🔑 关键词速览
| Visual Question Answering (VQA) | 视觉问答，一种结合图像理解和自然语言处理的任务，要求模型根据图像内容回答问题。 |
| Large Multimodal Models (LMMs) | 大型多模态模型，能够同时处理文本、图像等多种模态信息的人工智能模型。 |
| SkyView | NASA提供的虚拟天文台工具，可获取和浏览不同波段的天空图像。 |
| Gaussian Mixture Model | 高斯混合模型，一种概率模型，假设数据由多个高斯分布混合生成，常用于聚类和密度估计。 |
| Astrometrically tagged | 天体测量标记，指图像中标注了精确的天体位置和角尺度等信息。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅