LLM事实核查新基准：1913条声明揭示所有模型准确率低于补充声明，得分差距被掩盖！
Rethinking the Evaluation of LLM Fact-Checkers
📖 AI 总结
该论文指出，大语言模型事实核查的评测得分取决于三个设计决策：核查哪些论断、在何种条件下判定每个论断、以及哪些来源算作证据，而现有基准均未同时明确这三点。为此，作者构建了日语基准JSFactCheckBench，包含1913条来自大模型回答的论断，这些问题涉及日本社交媒体上流传的误导性信息，每条论断均标注了参考时点的事实性与对问题的重要性，并以预选网页来源作为证据。对六个大模型的测试发现，模型核查直接回答问题的论断时准确率低于补充性论断，这一差距被总体得分掩盖；当需要在更长或多份来源中定位相关内容时得分下降，四个开源模型在加入上下文问题与回答后得分也下降。这些弱点只有在记录标注条件时才能显现，隐含条件的基准无法揭示它们。
🔑 关键词速览
| LLM Fact-Checkers | 基于大型语言模型的事实核查系统，用于逐条验证文本声明的事实准确性。 |
| JSFactCheckBench | 本文提出的日语事实核查基准，明确指定了问题、判定条件和证据来源三个设计决策。 |
| Claim | 声明，指待核查的原子性事实陈述，通常从模型回答中拆分得到。 |
| Reference Time | 参考时间点，用于确定声明事实性的时间基准，因为事实可能随时间变化。 |
| Evidence Sources | 证据来源，指用于判定声明事实性的预选网络来源，其选择影响核查结果。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅