小模型也能组队打怪！OrchSLM用路由编排SLM，不交互也能协同推理
OrchSLM: Probing the Dynamics of Small Language Model Orchestration
📖 AI 总结
该研究针对大语言模型依赖云端基础设施所带来的延迟、隐私、连接性和计算成本等问题，探讨以小语言模型（SLM）替代的可行性。由于SLM容量和上下文窗口有限，难以支撑迭代验证、辩论等交互密集的编排策略，作者提出一种非交互式范式：由异构SLM独立生成候选解，再由路由器对其缓存样本进行编排，无需模型间进一步交互。为此，他们构建了OrchSLM路由框架，将现有非交互式编排方法统一起来，并把其底层设计选择暴露为可控参数。借助该框架作为系统性探针，研究揭示了编排行为如何由任务结构、模型池组成和多智能体共识等多种因素共同塑造，为理解小模型编排机制提供了可调控的分析工具。
🔑 关键词速览
| Small Language Model (SLM) | 参数量较小、可在本地或边缘设备部署的语言模型，适合处理范围狭窄的重复性子任务。 |
| Orchestration | 对多个模型或智能体的调用、路由与结果整合过程进行统一调度与协调。 |
| Non-interactive Paradigm | 各模型独立生成候选解、由路由器统一编排缓存样本，模型之间不再进行迭代交互的范式。 |
| Router | 根据任务结构与模型池组成，将子任务分配给合适模型并整合其输出的调度组件。 |
| Multi-agent Consensus | 多个智能体独立给出答案后，通过投票或聚合等方式达成一致结论的机制。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅