🔥 今日值得一读
8B小模型跑个程序，电信任务从43%飙到91.2%！
Compiling Expert Procedures into Verified Programs: When a Small Model Is Enough
👨💼 主理人解读 · 为什么值得关注
可把专家操作轨迹编译成显式程序，让8B小模型也能可靠执行流程化工具任务，降低部署成本。
📖 AI 总结
这篇论文提出了一种名为PLVR的方法，将专家模型的推理轨迹编译为显式程序，再让未经改动的小模型（包括8B模型）在该程序辅助下执行任务。具体做法是：对教师模型Kimi-K3的推理轨迹进行分段聚类以识别重复操作，由前沿模型为每种操作编写类型化原语，再通过A*搜索在规则库上组装程序。在tau2-Bench零售与电信测试集及LiveMCPBench上，该方法使Granite-4.2-8B在电信任务上的准确率从43.0%提升至91.2%，所有Nemotron学生模型达到93.3%至94.4%，显著优于微调、提示优化等基线。研究发现，在流程性强的领域，小模型配合程序即可胜任；而在工具搜索类任务中，学生模型自身能力仍然关键。该方法在不改变任何模型权重的前提下，将不同基座模型间的性能差距从约7分缩小至约2分，表明相当一部分能力差距源于流程而非模型本身。
🔑 关键词速览
| PLVR | 一种从教师模型推理轨迹中构建显式程序的方法，通过聚类、类型化原语和A*搜索组装程序。 |
| tau2-Bench | 一个用于评估工具使用和程序性任务的基准测试套件，包含零售和电信等领域。 |
| LiveMCPBench | 一个评估多轮工具匹配和搜索能力的基准测试。 |
| Nemotron | 一组基础模型系列，在实验中作为学生模型使用。 |
| A* search | 一种启发式搜索算法，用于在规则库中寻找最优程序组装路径。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅