🔥 今日值得一读
一个模型搞定图像视频3D编辑，3D数据稀缺也能靠迁移学习逆袭！
VitronEdit: Universal Visual Editing across Images, Videos, and 3D Scenes
👨💼 主理人解读 · 为什么值得关注
可用图像/视频编辑监督迁移到3D场景编辑，开发者能低成本构建跨模态统一编辑工具。
📖 AI 总结
该论文提出VitronEdit，一个面向图像、视频与3D场景的统一视觉编辑框架。针对3D场景编辑长期独立发展且配对训练数据稀缺的问题，作者采用共享序列表示与渐进式多模态训练，将图像和视频编辑中丰富的监督知识迁移至3D编辑，并引入几何感知后训练，利用预训练几何重建模型提供深度与相机位姿监督。研究发现，仅对3D样本施加几何监督即可取得最佳整体性能，图像和视频编辑虽未直接接受几何监督也同步提升，说明几何正则化可通过共享主干网络迁移；图像和视频训练主要向3D传递编辑语义，而3D监督主要改善多视图一致性。该工作为数据稀缺条件下的跨模态编辑知识迁移提供了可行路径。
🔑 关键词速览
| VitronEdit | 本文提出的通用视觉编辑框架，统一支持图像、视频和3D场景编辑。 |
| 共享序列表示 | 一种将不同模态数据统一为序列形式的表示方法，便于跨模态知识迁移。 |
| 渐进式多模态训练 | 一种分阶段、逐步引入多模态数据的训练策略，以促进编辑知识在不同模态间转移。 |
| 几何感知后训练 | 在训练后期引入几何监督（如深度和相机姿态）以增强模型几何理解能力的训练阶段。 |
| 多视图一致性 | 指从不同视角观察同一3D场景时，编辑结果保持几何和外观一致的性质。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅