4DGS-JEPA让动态高斯场景学会可复用预测动力学,多步预测不靠重建!
4DGS-JEPA: Temporally Compositional Joint-Embedding Prediction for Dynamic Gaussian Splatting
arXiv AI (cs.AI) 重要 论文方法多模态3D视觉 🕐 今天 12:00

📖 AI 总结

该论文提出4DGS-JEPA,一种面向动态高斯场景的联合嵌入预测架构,旨在解决现有动态高斯泼溅方法偏重重建、未来状态生成或渲染,而缺乏可复用预测动力学学习的问题。模型采用场景级、运动组级和高斯级的层次化表示,并引入以时间跨度条件为驱动的转移算子,支持直接预测与递归推演。其核心原则是时间组合性,即不同时间转移路径到达同一未来终点时应产生兼容的预测状态;通过终点与多跨度路径监督锚定未来目标嵌入,并借助选择性几何解码器和几何级组合约束学习到的动力学。作者还提出混合对应机制,结合持久规范身份与残差最优传输匹配以应对重排序和拓扑变化,并从理论上刻画了零损失路径一致性与有限误差推演累积。三组受控实验表明,时间组合可降低潜在路径依赖并保持预测精度,几何级组合提升解码运动一致性,混合对应在保持身份可靠性的同时具备歧义鲁棒性。

🔑 关键词速览

4DGS-JEPA一种面向动态高斯泼溅的高斯原生联合嵌入预测架构,用于因果多步预测。
Dynamic Gaussian Splatting动态高斯泼溅,一种用显式高斯表示演化三维场景的技术。
Joint-Embedding Predictive Architecture联合嵌入预测架构,一种在潜在空间进行预测而非重建的表示学习框架。
Temporal Composition时间组合性,指不同时间转移路径到达同一未来终点时应产生兼容预测状态的原则。
Optimal-Transport Matching最优传输匹配,一种用于在重排序和拓扑变化下建立对应关系的数学方法。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅