🔥 今日值得一读
多跳RAG事实性控制：95%目标下支持率从55%飙升至97%！
Conformal Factuality Control for Multi-Hop Retrieval-Augmented Generation
👨💼 主理人解读 · 为什么值得关注
为多跳RAG提供声明级事实性保证，开发者可用共形过滤在生成答案时控制幻觉率。
📖 AI 总结
本文研究面向多跳检索增强生成（RAG）的命题级保形事实性控制方法。多跳RAG的检索与推理依赖多个阶段，检索到的上下文并不能保证生成内容有事实依据。作者将此前用于单跳RAG的分割保形命题过滤方法扩展到多跳场景，在HotpotQA、Natural Questions和TriviaQA上，使用Llama 3.1 8B与GPT-4o-mini进行评测，并设置单跳对照实验。结果显示，在全部六种多跳模型—数据集组合中，保形目标越严格，保留命题全部获得支持的回复比例越高：95%目标下达到95.80%至97.20%，而未过滤时仅为55.60%至76.03%。但这一提升具有高度选择性，95%目标下仅4.41%至31.09%的生成命题被保留，9.70%至51.40%的回复仍非空。研究表明保形事实性控制可延伸至多跳RAG，同时说明名义可靠性须与命题保留率和弃答率结合解读。
🔑 关键词速览
| 检索增强生成（RAG） | 一种将外部检索证据与语言模型生成相结合的技术，用于提升生成内容的事实依据。 |
| 多跳RAG | 需要经过多个相互依赖的检索与推理步骤才能回答问题的检索增强生成设定。 |
| 共形事实性控制 | 基于共形预测框架，对生成论断的事实支持程度进行统计可靠性控制的方法。 |
| 分裂共形论断过滤 | 一种利用校准集设定阈值、对生成论断进行筛选以控制事实错误率的共形方法。 |
| 论断保留率与弃答率 | 分别指在过滤后仍被保留的生成论断比例，以及因过滤而变为空响应的比例，用于衡量可靠性提升的代价。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅