📖 AI 总结

本文提出 ContractEval，一个面向程序性指令遵循的诊断框架，旨在解决 LLM 智能体执行流程时“结果看似合理、过程却已违规”的隐性失败问题。作者将程序性指令建模为随查询激活的“义务”，再与响应或执行轨迹证据进行匹配，从而把遗漏步骤、分支错误、顺序错误、多余动作、不变量违背和输出契约违规等区分为不同类型的合规失败。在受控审计测试集上，仅看输出和看轨迹的 LLM 评判器会漏掉大量注入的结构性失败，而在给定标准期望图与观测图时，ContractEval 能全部检出并定位。基于 LLM 的抽取虽能保留大部分信号，但对校准较为敏感。该工作使程序合规性变得可审计，而非隐含于最终答案质量之中，但作者强调它并非合规性保证。

🔑 关键词速览