🔥 今日值得一读
RAG瓶颈不在读而在检索：多事实查询常漏关键块，长上下文模型也难逃
The Bottleneck Is Retrieval, Not Reading: Diagnosing Evidence-Based Generation with RAG for Long Context Question Answering
📖 AI 总结
该研究针对检索增强生成（RAG）在长上下文问答中的结构性缺陷展开诊断，提出“基于证据的生成”（EBG）任务，要求模型在给出答案的同时提供行级引用，并设计联合评估指标Ans+Evid，同时衡量答案正确性与证据支撑度。作者将MultiHop-RAG和QASPER改编为多文档证据问答基准QASPER-MP，并构建受控合成双跳数据集及覆盖1万至100万字符的证据增强NoLiMa测试集，在十种前沿闭源模型和三种开源模型上进行评测。关键发现是：RAG的瓶颈在于检索而非阅读——相似度检索对多事实查询只能可靠召回部分所需片段，分块处理还会破坏解析跨段落指代所需的文档元信息，而长上下文模型可规避这些问题；EBG还揭示了仅看答案的评估无法发现的引用不完整等接地失败，以及上下文与参数知识冲突时Ans与Ans+Evid之间不断扩大的差距。该工作为RAG系统的证据溯源能力提供了更严格的诊断框架。
🔑 关键词速览
| Retrieval-augmented generation (RAG) | 一种将大语言模型与外部检索系统结合的方法，通过检索相关文档来增强生成内容的准确性和事实性。 |
| Evidence-based generation (EBG) | 本文提出的新任务范式，要求模型在生成答案时提供行级引用，以同时保证答案正确性和证据锚定。 |
| Ans+Evid metric | 一种联合评估指标，同时衡量答案的正确性和证据引用的准确性，用于全面评价基于证据的生成质量。 |
| MultiHop-RAG | 一个多跳问答基准数据集，要求模型整合多个文档片段的信息来回答复杂问题。 |
| NoLiMa | 一个长上下文评估基准，本文使用了证据增强版本，跨度从1万到100万字符，用于测试模型在长文本中的证据定位能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅