最强AI做CAD成功率仅17.5%，专家却达87%！200个长周期任务揭开通用GUI与工程工作流的巨大鸿沟
CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design
📖 AI 总结
CADWorld 是一个面向长周期计算机使用任务的基准测试，聚焦于机械计算机辅助设计（CAD）这一专业工程场景。该基准包含 200 项任务，覆盖草图绘制、零件建模、装配、CAM、FEM、测量、网格处理和技术制图等 11 类机械 CAD 工作流。智能体通过截图和图形界面操作完成任务，成功与否由针对保存的 FreeCAD 工程文件及辅助输出执行的可执行检查判定，考察几何属性、参数结构、约束、制造状态和仿真结果等维度。在七款现有智能体上的测试显示，最强智能体成功率仅为 17.5%，而专家参考通过率为 87.0%。研究发现，较弱智能体往往在生成有效工程文件前就已失败，较强智能体则更多在结构、几何和构建流程要求上出错。该基准揭示了通用图形界面操作能力与可靠执行持久化、可验证工程工作流之间的显著差距。
🔑 关键词速览
| CADWorld | 一个用于评估计算机使用智能体在FreeCAD中执行长周期机械CAD任务的基准测试集。 |
| FreeCAD | 一款开源的参数化3D计算机辅助设计软件，支持草图、建模、装配、仿真等工程工作流。 |
| 长周期计算机使用 | 指智能体在较长的交互序列中通过图形界面操作完成复杂任务，而非单步或短时操作。 |
| 可执行检查 | 通过运行程序对保存的CAD制品进行自动验证，以判定任务是否成功，而非仅依赖人工评估。 |
| 参数化结构 | CAD模型中通过尺寸、约束等参数定义的几何关系，修改参数可自动更新模型形状。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅