该研究探讨了视频生成模型作为世界模型是否具备人类核心认知中的客体永久性与固体性,并尝试通过认知科学启发的数据集对其进行训练。作者构建了WROP数据基础设施,包含150个手工设计的认知科学任务,分为六大认知类别,利用Blender生成器在保持任务认知结构的前提下随机化速度、光照、相机角度等干扰参数,每个任务生成超过1万个样本,最终发布150万样本训练语料和300题测试集。基于此测试集,研究评估了14个视频模型,涵盖参考生成、编辑和续写三类,其中16B参数的PWM-WROP在盲测配对Elo研究中位列续写模型第一、总体第三,仅次于两个参考生成模型之间的统计平局。该工作为世界模型的物理智能评估提供了系统性基准,并开源了数据、测试、模型权重及训练框架。
| Object Permanence | 客体永久性,指即使物体不在视线范围内,仍能理解其持续存在的认知能力。 |
| World Models | 世界模型,指能够模拟环境动态并预测未来状态的AI系统,常用于视频生成和规划。 |
| WROP | 基于客体永久性的世界推理,本文提出的数据基础设施和评估基准,包含150个认知科学启发的任务。 |
| Elo Study | Elo评分研究,一种用于评估和比较模型性能的成对比较方法,常用于游戏和AI基准测试。 |
| PWM-WROP | 本文提出的160亿参数世界模型,在WROP基准上训练,用于视频延续任务。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅