🔥 今日值得一读
自监督新方法Mirror：无需动作数据，Minecraft生存模式首次靠自我改进拿到铁镐！
Self-Improving Video-to-Action Models
📖 AI 总结
该论文提出Mirror，一种自监督方法，使具身智能体无需预先收集的动作数据或人工设计的奖励，仅通过与环境的交互即可学习从视频到动作的映射。其核心思路是让模型尝试执行视觉规划所隐含动作的最佳猜测，再用由此产生的视频-动作对进行训练，从而逐步自我改进并更贴近视觉规划。在Atari、OGBench和DeepMind Control上，Mirror优于现有的从观察中学习方法，并在使用理想规划时接近专家水平；在Minecraft BASALT中，它超过了可访问专家动作或手工任务知识的方法；在Minecraft生存任务中，它首次仅靠自我改进获得铁镐。离线设定下，使用专家动作标签但不与环境交互时，它在获取钻石任务上刷新了最优结果。这表明视频模型的进步可转化为更强的智能体能力，而无需依赖人工奖励或大规模专家动作数据。
🔑 关键词速览
| 视频到动作模型 | 将视频中的视觉信息映射为具体动作序列的模型，用于指导智能体执行任务。 |
| 逆动力学模型 | 从观察到的状态转移（如视频帧）中推断出导致该转移的动作的模型。 |
| 自监督学习 | 一种无需人工标注标签，通过数据自身结构生成监督信号的学习范式。 |
| 视觉规划器 | 利用视频生成模型生成未来视觉轨迹，以规划任务完成步骤的组件。 |
| 从观察中学习 | 智能体通过观察专家演示（如视频）来学习任务策略，而不直接访问专家动作。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅