仅靠奖励训练，PPO价值函数竟自发学出Crafter世界模型！
Visualizing the World Model in an Agent's Value Function
📖 AI 总结
本研究探讨了无模型强化学习算法是否可能隐含地学习环境模型。作者采用反事实干预方法，在保持状态其余部分不变的前提下对特定要素进行定向改变，以此检验近端策略优化（PPO）智能体的价值函数是否在Crafter环境中形成了世界模型。研究发现，尽管该智能体仅以优化奖励为目标进行训练，其价值函数却自发学到了诸如钻石可收集条件的规则、水和食物对健康的影响、以及库存相关的启发式知识等概念。这项工作表明，无模型智能体的价值函数中确实蕴含着对环境结构的内在表征，同时作者也讨论了这些可视化结果在安全性方面的启示，以及当前强化学习智能体在迈向真正高级机器智能过程中存在的若干局限。
🔑 关键词速览
| 无模型强化学习 | 一类不显式学习环境动态模型，而是直接学习策略或价值函数的强化学习方法。 |
| 反事实干预 | 在保持其他因素不变的情况下，对特定变量进行改变以观察因果效应的实验方法。 |
| 近端策略优化（PPO） | 一种常用的强化学习算法，通过限制策略更新幅度来稳定训练过程。 |
| 价值函数 | 在强化学习中，评估给定状态或状态-动作对长期回报期望的函数。 |
| Crafter环境 | 一个用于评估智能体泛化能力的开放世界游戏环境，包含多种生存和探索任务。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅