415份情报报告、5525个问答对，地缘政治问答基准来了
GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
📖 AI 总结
该研究提出了GeopoliticalQA基准，旨在评估面向地缘政治与战略情报报告的检索增强问答系统。基准涵盖415份开源情报报告，构建了5525个基于文档的问答对，覆盖事实型、推断型、比较型和风险导向型问题，并通过专家标注与大模型评判协议验证数据质量。研究评估了15种检索系统和6个开源大模型，发现文档级检索性能差异不大，但在更细粒度的文本块级检索中，检索质量并非由嵌入模型规模决定：中等规模的开源编码器bge-m3可媲美规模大一个数量级的模型，并优于商业嵌入API。生成方面，即便提供标准证据，推断型和风险导向型问题的回答仍具挑战。该工作为情报领域的检索与生成研究提供了标准化评测资源。
🔑 关键词速览
| GeopoliticalQA | 一个基于地缘政治与战略情报报告构建的问答基准，用于评估检索增强生成系统。 |
| 检索增强生成 (RAG) | 一种结合信息检索与文本生成的技术，先检索相关文档再生成答案。 |
| 文档感知生成流程 | 在生成问题前先对报告进行画像分析的流程，以提升生成问题的文档相关性。 |
| bge-m3 | 一种中等规模的开源文本嵌入模型，在块级检索任务中表现优异。 |
| LLM-as-judge | 使用大型语言模型作为评判者来评估数据集或生成内容质量的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅