世界模型新突破:SDI让智能体想象中比较方案,18个任务中15个超越最强基线!
Second Thoughts: Exploring and Planning through Comparative Imagination in World Models
arXiv LG (cs.LG) 重要 #世界模型#规划#强化学习 🕐 今天 12:00

📖 AI 总结

该论文提出SDI(Sibling Disagreement in Imagination)方法,解决世界模型智能体在行动前如何选择探索方向、以及何时用规划方案替换已学策略的问题。SDI以智能体自身动作序列在同一模型状态下的重复想象作为共享参照,用候选回报的离散程度提供探索信号,用规划方案的预测优势决定是否采纳,优势超过参照波动固定倍数时执行规划动作,否则沿用原策略。该方法复用基础智能体的世界模型、actor和critic,无需额外集成模块。在Meta-World、Adroit和DM-Control三个基准上,SDI在各套件中的任务平均得分均高于所有对比基线,18个任务中有15个达到或超过最强基线;配对评估显示该门控机制相比无门控规划能更好地从actor失败中恢复、保留成功行为并显著减少回报退化。

🔑 关键词速览

World Models智能体内部构建的环境预测模型,用于想象未来状态和结果。
SDI (Sibling Disagreement in Imagination)一种通过比较同一模型状态下想象出的动作序列来统一探索与规划的方法。
Actor-Critic强化学习框架,包含策略网络(行动者)和价值网络(评论家)。
Exploration智能体尝试新动作以发现环境信息的过程。
Planning利用模型预测未来并选择动作序列的过程。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅