该研究提出 Orbia,首个系统评估交互式世界模型三维一致性的基准。研究指出,视频生成模型虽能产出逼真画面,但未必构成一致的三维世界,而现有评测多局限于部分几何属性或依赖视觉语言模型判断记忆与一致性。Orbia 通过受控探索与重访,从输入保持、生成内容持久性和三维自一致性三个维度展开评估,涵盖外观、几何与空间稳定性、生成区域重访一致性、跨视角深度与特征对应、区域尺度一致性及留出高斯渲染等指标,并支持分钟级长时探索。基准整合公开数据集、自采集场景与仿真,构建 720 个室内外实例和六种探索重访协议,评测了 27 个文本、动作和相机条件模型。该工作为诊断三维不一致性、推动更持久的视频世界模型提供了系统依据。
| Orbia | 首个系统评估交互式世界模型中3D一致性的基准测试。 |
| 3D一致性 | 生成的视频帧在三维空间几何和外观上保持连贯一致的性质。 |
| 交互式世界模型 | 能够根据用户输入(如动作、相机移动)生成可探索视频序列的模型。 |
| 输入保持 | 评估模型在生成新视角时是否保持输入图像中已有内容的外观和几何。 |
| 生成内容持久性 | 评估模型在重访时是否保持其先前生成但未在输入中出现的区域内容。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅