该文章介绍了一项针对线缆等可变形线性物体实例分割的研究,提出了名为WireSeg-32K的合成数据集,包含32,000张RGB图像、实例掩码、深度图及配套的真实世界测试集。针对现有数据集缺乏物理真实感或局限于特定场景的问题,研究团队开发了DeformX协同仿真管线,结合Cosserat-rod动力学与Isaac Sim渲染,生成接触一致且物理可信的线缆形态,并融入CAD资产与多样化场景。实验表明,仅使用该数据集对SAM3进行LoRA微调,即在真实世界测试中将mAP@75提升10.2%,验证了物理接地合成数据对真实线缆感知任务的有效迁移性。该工作为线缆分割提供了大规模训练资源,并展示了仿真数据在提升复杂可变形物体识别性能方面的潜力。
| WireSeg-32k | 一个包含32,000张RGB图像及其实例掩码和深度图的合成数据集,用于线缆实例分割。 |
| DeformX | 一种协同仿真管线,结合Cosserat杆动力学与Isaac Sim渲染,生成物理上合理的线缆变形。 |
| Cosserat-rod dynamics | 一种描述细长柔性杆件(如线缆)三维变形和运动的物理模型。 |
| LoRA | 一种参数高效的微调技术,通过低秩适配器调整预训练模型,适用于下游任务。 |
| SAM3 | 一种先进的图像分割基础模型,可进行实例分割,此处通过LoRA微调以适应线缆分割。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅