云端写程序+本地小模型，成功率飙升14.9个百分点！
Should SLMs be in the Driver's Seat? A Study of Local Models as Interpreters in Cloud-Written Agent Programs
📖 AI 总结
该研究探讨了在云端大模型与本地小模型之间的一种折中架构：由云端模型编写代理程序，程序在运行时将涉及用户数据的有限问题通过普通函数调用交由本地小模型解答，从而在数据不出设备的前提下提升任务执行能力。作者在AppWorld基准上测试了六种骨干模型与测试分区的组合，结果显示该架构使纯代码代理的成功率全部得到提升，最高提升14.9个百分点，显著缩小了与云端ReAct循环之间的差距。这项工作表明，小模型虽不适合独立驱动代理，但作为云端程序中的本地解释器，能在隐私保护与任务性能之间取得更好的平衡，为边缘端代理系统设计提供了新思路。
🔑 关键词速览
| SLM (Small Language Model) | 参数量较小、可运行在边缘设备上的语言模型，能在本地处理数据但能力通常弱于大型云端模型。 |
| ReAct loop | 一种让语言模型交替进行推理（Reasoning）和行动（Acting）的智能体范式，通过与环境交互逐步完成任务。 |
| AppWorld | 一个用于评估交互式智能体在真实应用场景中任务完成能力的基准测试平台。 |
| code-only agent | 仅通过生成并执行代码来完成任务、不进行多轮自然语言推理的智能体。 |
| bounded questions | 指范围受限、有明确约束的查询，本地小模型只需回答这类问题而无需处理完整任务。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅