企业AI助手可信度飙升29%!EvidenT让答案可溯源、零虚假引用
EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability
arXiv AI (cs.AI) 重要 Agent安全对齐论文方法 🕐 09-22 12:00

📖 AI 总结

企业级AI助手需要生成可验证、可追溯至原始证据的回答,但面向异构企业数据的检索增强生成(RAG)常出现引用漂移、内容缺乏支撑、来源追溯薄弱等问题。为此,作者提出EvidenT(信任、透明、可追溯)流水线,在答案生成前对提取的证据与检索文档进行核验,无需重新训练模型。该方法结合结构化段落抽取与确定性词汇对齐,过滤无支撑内容、纠正引用漂移并保留源片段可追溯性。在约500条真实企业查询上,EvidenT相较提示基线将金标来源命中率平均提升29%,未产生指向未检索URL的引用,并实现接近饱和的答案与来源词汇覆盖率。该工作为构建可信、可审计的企业AI助手提供了轻量且有效的技术路径。

🔑 关键词速览

检索增强生成 (RAG)一种结合检索外部文档与生成模型的技术,用于提升答案的准确性和事实性。
引用漂移 (Citation Drift)生成的答案中引用的来源与检索到的实际支持证据不一致的现象。
黄金源命中率 (Gold-Source Hit Rate)评估指标,衡量系统正确识别并引用包含标准答案的源文档的比例。
确定性词汇对齐 (Deterministic Lexical Alignment)一种基于规则和词汇匹配的确定性方法,用于对齐文本片段,确保内容与源文档一致。
源跨度可追溯性 (Source-Span Traceability)能够追踪生成内容中每个部分到原始文档中具体文本片段的能力。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅