EditHero 是首个面向长程、部件级三维编辑的基准测试,其核心洞察在于:真实三维资产的构建并非依赖单次编辑,而是经历一长串修订,每次修改都需精确实现目标改动,同时保持其余部分不变。该基准提供自然语言指令,并针对几何与纹理分别给出目标图像,借助确定性装配引擎在每次编辑后生成精确目标结果,且所有编辑序列均经人工审核。研究者利用 EditHero 对比了两类思路相反的方法:非智能体方法自顶向下,从学习到的三维表示重新生成物体并推断需保留的部分;基于 LLM/VLM 的智能体方法则自底向上,通过代码检查网格并仅重写指令要求的部件。结果显示,非智能体方法常遗漏目标改动并扰动本应固定的区域,而多数 LLM 能更贴合指令,且在保留未编辑部分上表现更好,但每次编辑耗时数分钟。该工作将公开引擎与编辑序列,以推动可靠的迭代式三维编辑研究。
| 长时程3D编辑 | 指通过一系列连续的编辑操作逐步构建或修改3D资产,每次编辑都需保持其他部分不变。 |
| 部件级编辑 | 针对3D模型的特定部件(而非整体)进行修改,要求精确控制编辑范围。 |
| 非智能体方法 | 采用自顶向下策略,从学习到的3D表示重新生成整个对象,并推断需保留的部分。 |
| LLM/VLM智能体 | 基于大语言模型或视觉语言模型的智能体,采用自底向上策略,通过代码检查网格并仅重写指令所需部分。 |
| 确定性装配引擎 | 一种能够根据编辑指令精确生成目标3D模型的引擎,确保每次编辑后的结果可复现。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅