长文本事实核查不准?ElementCheck用句子元素图提效,5大模型稳定提升!
ElementCheck: Complexity-Aware Long-Form Text Factuality Evaluation via Sentence Elements
arXiv CL (cs.CL) 重要 大模型事实核查论文方法 🕐 08-28 12:00

📖 AI 总结

该论文提出了一种名为ElementCheck的复杂度感知框架,用于改进长文本事实性评估。现有方法依赖“分解-检索-验证”流程,但受限于声明分解噪声和固定验证粒度,结果可靠性不足。ElementCheck不再将句子统一分解为原子子声明,而是提取句子中通过可验证连接明确关联的实体对作为元素,并构建元素图。图拓扑结构提供句子复杂度的结构信号,使简单句子可直接验证,复杂句子则进行针对性的元素级细化验证。研究构建了新基准FastFact-Sent,将FastFact-Bench中的孤立声明映射回源句。实验表明,在FastFact-Sent和两个领域特定基准上,ElementCheck在五种骨干模型上持续提升事实性验证效果,同时保持较好的准确率-成本平衡。进一步分析显示,复杂度感知验证减少了不必要的重复验证,并在不同骨干模型间保持稳定性。

🔑 关键词速览

ElementCheck一种复杂度感知的长文本事实性验证框架,通过句子元素和元素图进行验证。
decompose-retrieve-verify pipeline一种常见的事实性评估流程,先分解声明,再检索证据,最后验证。
element graph由句子中实体对及其连接关系构成的图结构,用于估计句子复杂度。
FastFact-Sent新构建的细粒度事实性评估基准,将FastFact-Bench的声明映射回源句子。
complexity-aware verification根据句子复杂度调整验证策略的方法,简单句子直接验证,复杂句子进行元素级细化。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅