🔥 今日值得一读
智能体26.7%任务乱下结论，PRIME零未证明结论，得分从30.1飙到59.2！
PRIME: Towards Verifiable Evidence-Grounded Reasoning in LLM Agents
📖 AI 总结
该论文提出PRIME（Precommitted Rules for Inference from Minimal Evidence）框架，旨在解决LLM智能体在依据组织要求核查记录时产生无依据结论的问题。智能体常见的失败模式有两种：在必要检查未通过时仍接受报告，或满足于较弱结论而不尝试其他可行路径。PRIME的做法是在核查前预先固定证据路径，明确每种结论的证成方式，并由独立程序记录每项检查结果，拒绝结果无法支撑的结论，同时引导智能体执行可支持更强结论的检查。在480项公共记录任务上，直接展示要求的智能体在26.7%的任务中给出了无依据结论，而PRIME为零；其引导与补充检查将正当结论的平均得分从仅靠拒答的30.1提升至满分59.2（满分100）。该工作为LLM智能体的可验证证据推理提供了规则化、可审计的实现路径。
🔑 关键词速览
| PRIME | 一种基于预承诺规则和证据账本的LLM智能体推理框架，确保结论可验证。 |
| 证据路径 | 预先固定的推理路线，规定每个结论可以如何通过检查来证明。 |
| 账本 | 独立程序记录每个检查结果，并据此授权或拒绝结论。 |
| 未经证明的结论 | 检查结果无法支持的结论，智能体不应报告此类结论。 |
| 公共记录任务 | 基于公开记录进行核查的基准任务，用于评估智能体推理的可靠性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅