🔥 今日值得一读
GPT-5.4碾压夺冠！17款大模型客服工作流实测，9B开源模型逆袭闭源
Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
👨💼 主理人解读 · 为什么值得关注
可用于评估和训练企业客服Agent，开发者能借助该基准测试LLM在受限工具工作流中的执行能力。
📖 AI 总结
该研究聚焦企业客服场景中大语言模型作为“技能执行器”的能力评估，即模型需在特定技能上下文内，依据策略与工具约束完成有状态的窄域工作流。作者构建了一套基准生成流程：从真实客服对话记录中挖掘高频重复工作流，转化为结构化技能描述，映射所需工具，并借助兼容MCP的模拟环境生成多轮工具调用对话。基于该基准，研究对17个模型开展大规模零样本评测，涵盖闭源家族与1.7B至14B的开放权重模型，由五个强LLM评委独立判定，并辅以规则评估器检查工具覆盖、工具幻觉与无依据陈述。结果显示GPT-5.4大幅领先，QWEN3.5-9B为20B以下最强开源模型，且评委间一致性平均仅Kappa=0.524，表明评委可靠性本身也是评测设计的关键变量。
🔑 关键词速览
| Skill LLMs | 在选定技能上下文中运行、需在策略与工具约束下完成狭窄有状态工作流的专用执行器。 |
| Model Context Protocol (MCP) | 一种用于标准化模型与外部工具/环境交互的协议，本文用其兼容的模拟环境来仿真状态。 |
| Zero-shot Evaluation | 不提供任务示例或微调，直接让模型执行基准任务的评估方式。 |
| Hallucinated Tool Use | 模型调用不存在的工具或错误使用工具，属于评估中检查的失败模式之一。 |
| Kappa | 衡量评判者之间一致性程度的统计量，本文用其评估通过/失败判定的成对一致性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅