零训练启发式预测规划难度碾压学习模型，Spearman相关高达0.931！
When Planning Problems Become Hard for LLMs: Separating Structural Complexity from Semantic Interpretability
📖 AI 总结
该研究探讨大语言模型在经典规划任务中的困难来源，试图区分问题本身的结构性难度与符号词汇语义解释带来的难度。作者在七个STRIPS规划域上以BFS最优规划长度为基准，发现零训练的删除松弛启发式h_add在预测结构难度上显著优于学习类方法，在留出域上的平均Spearman相关系数达到0.931，而岭回归、对象计数和ARC架构分别仅为0.707、0.657和0.400。为分离语义因素，研究在保持状态、转移和最优规划不变的前提下逐步重命名谓词，结果显示LLM的有效规划成功率从67.5%降至40.0%，但拒绝回答的比例始终为0%。此外，向LLM提供ARC的条件信息后，其上下文内难度预测优于训练过的ARC。研究表明，现有符号启发式已能较好估计结构难度，提升混合规划系统的关键在于建模对谓词语义敏感的LLM行为，而非继续开发结构预测器。
🔑 关键词速览
| STRIPS | 一种经典的规划领域描述语言，用谓词、前提和效果表示状态与动作。 |
| delete-relaxation heuristic $h_{\mathrm{add}}$ | 一种零训练的启发式方法，通过忽略动作的删除效果来估计规划难度。 |
| ARC | 情景检索架构，一种基于检索的模型，用于预测规划难度。 |
| Spearman $|\rho|$ | Spearman秩相关系数的绝对值，衡量预测难度与实际难度之间排序的一致性。 |
| hybrid routing | 在LLM和符号规划器之间动态选择执行规划任务的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅