零样本泛化新突破！SpecMAGIC多智能体系统无需重训就能搞定未见任务
SpecMAGIC: Specification-Guided Multi-Task Generalization in Multi-Agent Reinforcement Learning
📖 AI 总结
该论文针对多智能体强化学习中的多任务泛化问题提出SpecMAGIC框架。作者设计了一种结合时序逻辑任务规约与协调需求算子的规约语言，并利用任务规约的自动机结构进行子任务分解：集中式高层规划器负责识别并为各智能体分配兼容的子任务序列，去中心化低层策略负责执行具体子任务。由此，系统可通过按新规约组合可复用子任务策略实现零样本泛化，无需重新训练。作者证明了高层规划器的可靠性与概率完备性。在多智能体导航任务上的实验显示，SpecMAGIC在未见任务规约上显著优于现有方法，且在智能体数量增加时仍保持较强性能。
🔑 关键词速览
| 多智能体强化学习 (MARL) | 多个智能体在共享环境中通过强化学习协同完成任务的机器学习范式。 |
| 时序逻辑任务规范 | 一种形式化语言，用于描述任务中随时间变化的条件和约束，如顺序、安全性和活性。 |
| 自动机结构 | 将任务规范转换为状态机模型，用于识别任务进度和子任务分解。 |
| 零样本泛化 | 模型无需在新任务上重新训练即可直接执行新任务的能力。 |
| 分层框架 | 将决策过程分为高层规划与低层执行两层的强化学习架构。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅