🔥 今日值得一读
无需配对视频，用图像对就能把粗糙动画变成照片级真实视频！
Pair-Free Coarse-to-Real Video Generation via Real-to-Coarse Image Supervision
👨💼 主理人解读 · 为什么值得关注
可用图像对替代昂贵视频对，把动画或游戏渲染视频转为逼真视频。
📖 AI 总结
该研究针对粗到精（coarse-to-real）视频生成任务，提出一种无需成对视频的训练方法。传统方法依赖对齐的（粗粒度、真实）视频对，制作成本高且限制模型只能用于狭窄的合成领域。作者利用一个不对称性：成对视频难以获取，但借助现有编辑与三维重建工具可轻松构建成对的真实图像与粗粒度图像。基于这些图像对，他们训练DINO-R2C模型在DINO特征空间中将真实图像转换为粗粒度图像，并逐帧应用于普通真实视频以合成伪粗粒度视频；随后C2R#模型学习从伪粗粒度视频生成对应的真实视频，从而摆脱对成对视频的依赖。推理阶段丢弃DINO-R2C，由真实粗粒度视频直接驱动C2R#。该方法使无配对训练可随任意真实视频语料扩展，而非受限于成对合成视频，作者表示将公开模型与项目页面。
🔑 关键词速览
| Coarse-to-real (C2R) video generation | 将粗糙视频（如动画、模拟或游戏渲染）转换为照片级真实视频的任务，同时保持场景布局和动态。 |
| DINO-R2C | 一个在DINO特征空间中将真实图像转换为粗糙图像的模型，用于合成伪粗糙视频。 |
| C2R# | 学习从伪粗糙视频生成真实视频的模型，无需配对的（粗糙，真实）视频。 |
| Pair-free training | 无需配对视频的训练策略，利用易于构建的真实到粗糙图像对来避免昂贵的视频配对。 |
| Pseudo-coarse videos | 通过将DINO-R2C模型逐帧应用于真实视频而合成的粗糙视频，用于训练C2R#模型。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅