该论文提出MoRE方法,用于从单张图像生成带关节的铰接式三维物体。其核心思路是:仅对关节属性做紧凑编码,并不能保证重建结果保留由此产生的运动,因此需要将运动约束纳入表示学习。方法上,MoRE用轴分类和两个轴正交的Plücker矩系数表示与坐标对齐的关节线,避免沿轴原点选择的任意性;在表示学习阶段,用解码出的关节假设驱动对应三维锚点运动,并与标注关节的运动比较,通过对关节类型和轴方向的可微期望,把属性重建与其诱导的运动耦合起来。实验在PartNet-Mobility和ACD数据集上进行,结果显示该方法在部件包围盒一致性、铰接状态几何和视觉相似度上优于对比基线,关节预测的轴、原点与范围误差较ArtiLatent降低;消融实验支持关节线编码设计,并表明运动监督能降低锚点运动误差。
| MoRE | 本文提出的运动正则化编码方法,用于从单张图像生成铰接式三维物体。 |
| Plücker 矩系数 | 一种表示三维空间中直线的方法,用两个与轴正交的矩向量来编码直线的位置和方向。 |
| 关节线编码 | 将关节的轴线表示为坐标对齐的直线,并编码其轴类型和方向,避免原点选择的任意性。 |
| 运动正则化 | 在表示学习过程中,通过比较解码关节诱导的锚点运动与标注关节运动来约束学习,使编码保留运动信息。 |
| 多状态自适应高斯模型 | 一种用于表示物体外观的高斯模型,能够适应物体在不同铰接状态下的外观变化。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅