Stream4D用4D重建奖励替代静态评判器，视频生成运动更连贯，人类偏好更高！
Stream4D: 4D-Consistency for Streaming Autoregressive Diffusion Video Models
👨💼 主理人解读 · 为什么值得关注
提出流式自回归扩散视频模型的4D一致性方法，缓解长序列生成中的几何漂移和动态退化问题。
📖 AI 总结
Stream4D提出了一种针对流式自回归扩散视频模型的4D一致性优化方法。现有流式模型在长时程视频生成中，因训练目标仅优化局部帧预测，导致几何漂移累积，生成内容退化为静态或不自然运动。此前基于3D高斯泼溅重建的奖励信号无法建模动态场景，会误将真实物体运动视为重建误差，甚至鼓励模型冻结画面。Stream4D将静态评判器替换为前馈4D重建奖励，显式建模场景动态，使连贯运动获得高一致性奖励；同时引入运动先验，奖励自然的场景流幅度并抑制抖动和非刚性伪影，辅以轻量感知锚点。实验表明，该方法在多种自回归视频骨干和生成时长下，显著提升4D重建质量、运动保持能力，并更符合人类偏好。
🔑 关键词速览
| Stream4D | 本文提出的方法，通过4D重建奖励实现流式自回归扩散视频模型的一致性生成。 |
| Autoregressive diffusion models | 自回归扩散模型，一种按顺序生成视频帧的生成模型，支持实时长视频生成。 |
| 3D Gaussian-Splatting | 3D高斯泼溅，一种用于场景重建和渲染的技术，将场景表示为高斯分布集合。 |
| 4D reconstruction | 4D重建，即动态三维重建，同时建模场景的空间结构和时间变化。 |
| Scene flow | 场景流，描述三维空间中每个点的运动矢量场，用于衡量动态场景的运动。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅