11个前沿LLM挑战368万美元真实运筹项目：最强Claude Code可行性88.39%，但专家质量仍未被超越！
OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
📖 AI 总结
文章提出OR-License，一个面向真实运筹学（OR）场景的端到端基准，包含来自10个工业场景、总价值368万美元付费咨询项目的31个实例，保留原始需求、数据、交付格式与信息边界。为考察信息获取过程，作者设计受控客户模拟器ORSim，仅披露业务事实而不提供OR专业知识，并以客户已接受的专家方案为参照，用部署调整质量（DAQ）衡量相对表现，不可行交付记零分。在11个前沿LLM智能体配置中，部分模型的条件目标质量超过专家参照，但无一在DAQ上追平专家；最佳配置严格可行性为88.39%，DAQ为0.87（专家为1）。轨迹分析显示主要失败集中在问题建模与实现环节，可评估任务上的研究链完成率为24%至45%。该工作表明，真实OR任务的关键瓶颈在于持续弥合信息缺口、忠实建模与基于证据的自我改进，为长程智能体的可靠评估提供了贴近产业实践的基准。
🔑 关键词速览
| OR-License | 一个端到端基准，用于评估LLM智能体在真实运筹学项目中的表现，包含31个来自付费工业合作的实例。 |
| ORSim | 一个受控的客户模拟器，用于研究智能体的信息获取过程，仅披露业务事实而不提供运筹学专业知识。 |
| Deployment-Adjusted Quality (DAQ) | 部署调整质量，一种评估指标，对各个实例的专家相对质量取平均，并将不可行的交付记为零分。 |
| coding-agent harnesses | 编码智能体框架，指用于支持和运行LLM智能体进行编程任务的软件工具或环境。 |
| research-chain completion rates | 研究链完成率，衡量智能体在可评估任务上完成整个研究流程（从问题理解到解决方案）的比例。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅