恒定内存无限生成视频，SMART让AI永不遗忘旧场景！
Long-horizon Video Generation with Slot Memory Addressed By Region Tokens
📖 AI 总结
这篇论文针对长时程视频生成中的记忆机制提出新方案。现有方法存在两难：基于重建的记忆虽能实现空间回溯，但需不断增长的存储并依赖估计的三维结构；循环记忆虽保持恒定状态，却因时间递归导致旧观测逐渐衰减。作者提出SMART——一种由区域令牌寻址的槽记忆，将内容存入恒定大小的槽循环中，写入由观测相机寻址、读取由渲染相机查询，无需构建显式三维表示或维护增长缓存，使回忆取决于视图间几何关系而非时间新近度。每次读取还提供置信度估计，用于调节分块因果扩散变换器，使其有选择地信任检索内容。在Memory Maze和Minecraft的长轨迹测试中，SMART在恒定内存与单步开销下，于远超训练时程的范围保持高保真回忆，为无限时长视频生成提供了可行路径。
🔑 关键词速览
| SMART | 本文提出的槽记忆方法，通过区域令牌寻址实现有界存储与空间回忆的结合。 |
| Slot Memory | 一种恒定大小的记忆结构，内容以槽位形式存储，通过寻址进行读写。 |
| Region Tokens | 用于寻址记忆的区域令牌，由观察相机和渲染相机分别用于写入和读取。 |
| Chunk-causal Diffusion Transformer | 一种扩散变换器，采用块因果注意力机制，用于视频生成并整合置信度估计。 |
| Long-horizon Video Generation | 指生成时间跨度很长的视频序列，要求模型能够保持长期一致性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅