无效前提让VLA模型完成率暴跌56.2个百分点，失败坚持现象普遍存在！
ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts
📖 AI 总结
这篇论文提出ConflictVLA-Bench基准，用于评估视觉-语言-动作（VLA）模型在任务前提无效时的行为反应。现有评测多关注最终任务结果，但任务失败本身无法区分模型是真正停止行为，还是继续执行原目标后才出错，作者将后者称为“失败坚持”。该基准基于LIBERO构建，包含2826个冲突任务，覆盖四类冲突、四种结构配置和两种提示条件，并将冲突轨迹与前提一致的参考轨迹配对，同时评估结果与执行过程。测试八种VLA模型发现，无效前提使原目标完成率至少下降17.3个百分点，OpenVLA下降达56.2个百分点；更关键的是，即使模型在一致任务上成功、在匹配冲突任务上失败，它们仍常继续接近原目标、保留早期轨迹结构，且动作幅度抑制有限，说明失败坚持普遍存在。显式前提检查也未能稳定带来选择性且协调的行为改变。研究表明，仅凭最终失败无法判定模型是否真正脱离任务或拒绝执行，结果指标不足以评估VLA模型。
🔑 关键词速览
| Vision-Language-Action (VLA) models | 视觉-语言-动作模型，一种结合视觉感知、语言理解和动作生成的多模态人工智能模型，用于机器人操作等任务。 |
| Premise Conflicts | 前提冲突，指任务指令或前提条件与实际情况或环境不一致的情况，可能导致模型行为异常。 |
| Failed Persistence | 失败坚持，指模型在任务前提无效时仍继续追求原始目标，最终导致执行错误的行为模式。 |
| LIBERO | 一个用于机器人操作任务的基准测试平台，提供多种任务和环境以评估模型性能。 |
| OpenVLA | 一种开源的视觉-语言-动作模型，常用于机器人操作任务的研究和评估。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅