该论文针对基于大语言模型的多智能体系统普遍依赖预设协作结构、难以适应动态任务需求的问题,提出RoleFlow——一种通过反馈驱动的原子化编辑与按需角色合成来自我演化协作结构的多角色智能体系统。为让结构自适应过程可学习,作者设计了单编辑反事实策略优化(SECPO),在同一链状态下将每次编辑与未编辑的对照结果进行比较,从而为编辑相关token分配针对性信用,克服了轨迹级奖励难以识别单项结构变化贡献的缺陷。在覆盖四个领域的七个基准测试中,RoleFlow取得最优平均性能,领先最强对比方法4.7分;在三个多跳问答基准上以3.2至7.5个F1点全面领先,并在数学推理、网页交互和代码生成任务上同样表现突出。进一步分析还验证了其跨基准迁移能力、训练数据效率以及跨执行器泛化性。
| RoleFlow | 一种自演化的多角色智能体系统,通过反馈驱动的原子编辑和按需角色合成来优化协作结构。 |
| SECPO | 单编辑反事实策略优化,一种评估结构编辑效果的方法,通过比较编辑与无编辑的对应情况来分配针对性信用。 |
| 多智能体系统 | 由多个基于大语言模型的智能体组成的系统,通常依赖预定义的协作结构。 |
| 轨迹级奖励 | 为每个决策分配一个结果信号的奖励机制,难以识别单个结构变化的贡献。 |
| 原子编辑 | 对协作结构进行的最小化修改操作,用于逐步优化系统结构。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅