🔥 今日值得一读
1.5万人类问答+37万页PDF，长文档视觉问答新基准VELD-QA来了！
VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
👨💼 主理人解读 · 为什么值得关注
可用于评测和训练长文档问答模型，帮助开发者诊断证据定位与解释失败问题。
📖 AI 总结
VELD-QA 是一个面向长文档视觉证据定位与问答的大规模基准数据集，包含 15,000 个人工编写的问题-答案对，覆盖 5,859 份真实 PDF 文档、共计 372,445 页，并在图表、表格和复杂版式任务之间保持平衡。其核心特点是人工标注了支撑页面与证据元素，并描述了所引用的视觉内容，从而将检索与解释两个环节分开评估。研究团队在四种证据设置下评测了九个视觉语言模型，并考察了七种检索增强与智能体系统。结果显示，证据定位与解释仍是主要瓶颈：基于检索的方法明显落后于使用真实支撑页面的 oracle 设置，即使开放全文访问也无法弥补差距；仅靠定位并不足够，oracle 准确率最高仅为 81.7%。此外，引入视觉元素标注可使性能差距缩小 17% 至 24%，表明该数据集不仅可用于评测，也能推动多模态文档问答的数据增强。
🔑 关键词速览
| VELD-QA | 一个面向长文档中视觉证据定位与问答的大规模人工标注基准数据集。 |
| 视觉证据定位 | 在长文档中定位支撑问题答案的页面和视觉元素（如图表、表格）的过程。 |
| 视觉语言模型 | 能够同时处理视觉和文本信息的多模态模型，用于文档问答等任务。 |
| 检索增强生成 | 结合信息检索与生成模型的方法，先检索相关文档片段再生成答案。 |
| oracle 设置 | 使用真实支撑页面作为输入的理想化评估设置，用于衡量模型性能上限。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅