🔥 今日值得一读
LLM智能体规划实测：离线解78%任务，在线仅40%！
Testing the Planning Claims of LLM-Based Agents against Formal Semantics
📖 AI 总结
该研究针对基于大语言模型的智能体所宣称的规划能力提出质疑，并采用形式化语义进行检验。研究将任务以自然语言呈现，但每个任务背后都隐藏一个PDDL模型，用以严格判定动作是否适用、目标是否达成以及是否存在可行计划。实验覆盖五个领域（其中两个为本文新增并公开）、四种模型、六种提示策略和三种智能体架构。结果显示，最佳配置在离线条件下可解决78%的可解任务，但在线条件下仅达40%，且智能体大多在不检查状态的情况下行动；对不可解任务的识别率不足10%；更复杂的提示策略消耗的token数量是直接提示的5至22倍，却未带来明显收益。规划表现随模型变化远大于随提示策略或智能体架构的变化。作者据此指出，关于智能体具备规划能力的论断需要来自经过验证的动作轨迹的证据。
🔑 关键词速览
| PDDL | 规划领域定义语言，一种用于形式化描述规划问题的标准语言，包括领域模型和问题实例。 |
| 思维链（Chain-of-Thought） | 一种提示策略，引导模型逐步生成推理步骤以解决复杂问题。 |
| 自我精炼（Self-Refinement） | 智能体对自身输出进行迭代改进的机制，通常通过自我批评和修正实现。 |
| 反思（Reflection） | 智能体回顾自身行为与结果，从中学习并调整后续行动的策略。 |
| 在线/离线规划 | 在线规划指智能体在行动过程中实时感知状态并规划；离线规划指在行动前基于完整模型生成计划。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅