物理先验取代变形场,4D高斯泼溅外推能力大幅提升!
Wind on Trees: Testing Physical Grounding in Dynamic 4D Gaussian Splatting
arXiv CV (cs.CV) 重要 论文方法多模态 🕐 09-17 12:00

📖 AI 总结

这篇论文研究动态4D高斯泼溅在风驱植被重建中的物理基础问题。作者指出,单目重建此类场景严重欠约束:沿视线方向的运动基本不可观测,运动树冠缺乏可靠对应点,且几乎整个场景都在运动,缺少静态参照,因此直接学习的形变场往往只优化光度一致性,而非还原真实运动。为此,作者用物理参数化形变先验替代该形变场,为每个刚性部件设置一个阻尼谐振子,由观测风速驱动,经可微RK4积分,仅以光度监督。为检验该先验是否真正具备物理基础,作者构建了受控合成测试平台,包含三棵程序生成的树,骨架复杂度跨越一个数量级,各部件固有频率由其几何决定,阻尼比为固定常数,二者均不参与训练。实验测量了留出视角、时间外推、对未见风速的零样本迁移以及物理参数恢复。结果显示,该先验在分布内视角上牺牲了外观保真度,但在训练时间窗口和训练风速之外的外推表现明显更好;而参数恢复远弱于表面印象,频率恢复仅在三棵树中最稀疏的一棵上优于未训练的空对照,阻尼则完全无法恢复。

🔑 关键词速览

4D Gaussian Splatting一种动态场景重建方法,将3D高斯泼溅扩展到时间维度,用于表示和渲染随时间变化的场景。
Damped Harmonic Oscillator阻尼谐振子,一种物理模型,描述在恢复力与阻尼作用下围绕平衡位置振荡的系统。
Differentiable RK4可微分的四阶龙格-库塔积分方法,用于数值求解微分方程并支持梯度反向传播。
Zero-shot Transfer零样本迁移,指模型在未经过微调的情况下直接应用于训练时未见过的条件或任务。
Physical Grounding物理基础,指模型或先验是否真正捕捉了 underlying 物理规律,而不仅仅是拟合观测数据。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅