🔥 今日值得一读 首个系统评估视频生成3D一致性的基准Orbia,覆盖27个模型720个实例!
Orbia: Do Generated Videos Form a Consistent 3D World?
arXiv CV (cs.CV) 🔥 重点 #视频生成#评测基准#3D一致性 🕐 今天 12:00
👨‍💼 主理人解读 · 为什么值得关注
可用于评测视频生成模型是否构建了真实3D世界,帮助开发者选择或改进世界模型。

📖 AI 总结

该研究提出 Orbia,首个系统评估交互式世界模型三维一致性的基准。研究指出,视频生成模型虽能产出逼真画面,但未必构成一致的三维世界,而现有评测多局限于部分几何属性或依赖视觉语言模型判断记忆与一致性。Orbia 通过受控探索与重访,从输入保持、生成内容持久性和三维自一致性三个维度展开评估,涵盖外观、几何与空间稳定性、生成区域重访一致性、跨视角深度与特征对应、区域尺度一致性及留出高斯渲染等指标,并支持分钟级长时探索。基准整合公开数据集、自采集场景与仿真,构建 720 个室内外实例和六种探索重访协议,评测了 27 个文本、动作和相机条件模型。该工作为诊断三维不一致性、推动更持久的视频世界模型提供了系统依据。

🔑 关键词速览

Orbia首个系统评估交互式世界模型中3D一致性的基准测试。
3D一致性生成的视频帧在三维空间几何和外观上保持连贯一致的性质。
交互式世界模型能够根据用户输入(如动作、相机移动)生成可探索视频序列的模型。
输入保持评估模型在生成新视角时是否保持输入图像中已有内容的外观和几何。
生成内容持久性评估模型在重访时是否保持其先前生成但未在输入中出现的区域内容。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅