CoDimRecon 是一个面向仿真就绪三维场景重建的智能体框架,旨在解决现有方法普遍假设物体为刚体、难以处理可变形对象的问题。该框架从多视角 RGB 观测出发,重建包含刚体、铰接体和可变形体的可编辑场景:场景级几何先验用于确定尺度与布局,物体级生成网格引导智能体获得紧凑且细节丰富的几何结构,铰接刚体被分解为带显式关节的可动部件。针对可变形对象,框架按类别分别重建曲线(中心线加半径)、曲面(带厚度的流形壳)和体积(用于体网格化的水密实体)。可复用的仿真器技能负责初始化兼容的物理模型与参数,智能体引导的行为测试则用于发现不匹配并触发对运动、几何、数值或材料建模的针对性修正。在 Replica 和 ScanNet++ 数据集上,该方法在保持有竞争力的组合重建精度的同时,额外生成了适用于杆、壳、实体三类仿真的可变形资产,并展示了跨三种表示的机器人交互,其中包括一个受控折纸案例,其行为测试促使模型引入塑性弯曲。
| CoDimRecon | 本文提出的智能体框架,可从多视角 RGB 观测重建含刚体、铰接体和可变形体的可编辑仿真就绪三维场景。 |
| Sim-Ready | 指重建出的几何与物理参数可直接导入仿真器进行动力学模拟,无需额外人工处理。 |
| Deformable Objects | 可变形物体,其形状会随外力改变,按维度分为曲线(杆)、曲面(壳)和体(实体)三类。 |
| Articulated Rigid Objects | 铰接刚体,由多个刚性部件通过关节连接而成,可相对运动,如抽屉、门等。 |
| Agentic Framework | 智能体框架,利用大模型驱动的智能体进行任务规划、工具调用与迭代修正的自动化系统。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅