世界模型新突破：D3WM解耦确定与随机变化，预测更准！
Decoupled Drift-Diffusion World Models for Consistent Future Frame Prediction
📖 AI 总结
本文提出解耦漂移-扩散世界模型（D3WM），用于在给定动作序列条件下预测未来图像帧。作者的核心洞察是：场景变化中随机部分的空间位置本身是可学习的。基于此，模型通过一个以高斯负对数似然为目标训练的Transformer，同时回归确定性下一状态预测和空间异方差偶然不确定性图，并利用该不确定性图作为条件扩散过程的结构化空间门控：确定性区域锚定于预测状态，而遮挡解除或动态纹理等不确定区域则由扩散过程采样。研究将这一分解纳入方差门控随机微分方程框架，把确定性漂移与随机扩散分离。在机器人桌面操作和相机运动两类动作空间上，D3WM均优于竞争基线，为兼顾确定性与随机性的未来帧预测提供了新思路。
🔑 关键词速览
| World Model | 世界模型，一种学习环境动态并预测未来状态（如图像帧）的生成模型。 |
| Conditional Diffusion Model | 条件扩散模型，一种以额外信息（如动作或不确定性图）为条件，通过逐步去噪生成数据的生成模型。 |
| Heteroscedastic Aleatoric Uncertainty | 异方差偶然不确定性，指数据本身固有的、随输入位置变化的随机噪声，与模型认知不确定性不同。 |
| Variance-Gated Stochastic Differential Equation | 方差门控随机微分方程，一种用学习到的方差图控制确定性漂移和随机扩散项混合的随机微分方程。 |
| Disocclusion | 去遮挡，指场景中先前被遮挡的区域因运动或视角变化而变得可见的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅