视觉技能库整理新招：不看描述看行为，92%冗余技能现形！
VisCurate: Evaluating Behavioral Equivalence of Visual Skills
📖 AI 总结
该论文提出VisCurate框架与基准，用于解决视觉技能库中重复、错标和缺陷技能累积的问题。研究指出，技能名称、描述或源码等文本信号难以反映技能对图像的实际视觉改变，因此主张依据执行行为而非文本描述来整理技能库。VisCurate让候选技能对在共享探针集上运行，判定六种行为关系并对应安全的库编辑操作。基准以受控比例注入七类缺陷，生成300个带真实关系与修复标注的可复现实例。实验显示，文本基线在困难负样本上最多接受六分之五的错误合并，而该验证器无一误接受，并找回51.2%真正可合并的技能对；在两个真实未整理库中，发现某包与其下游副本共享的技能有92%为冗余，17项公开等价声明仅10项经执行确认。九种自动整理器中最佳者仅恢复约一半修复，表明该问题仍待解决。
🔑 关键词速览
| VisCurate | 本文提出的框架与基准，通过观察技能执行行为而非文本描述来整理视觉技能库。 |
| 行为等价 | 指两个视觉技能在相同输入图像上产生相同或可视为等价的输出变化，而非名称或描述相似。 |
| 技能库整理 | 识别并处理技能库中重复、错误标记或缺陷技能的过程，以维护库的质量与一致性。 |
| 探针集 | 一组共享的输入图像，用于在相同条件下执行候选技能对，以观察和比较它们的行为。 |
| 行为关系 | VisCurate 定义的六种关系之一，描述两个技能在探针集上执行后的行为关联，每种关系对应安全的库编辑操作。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅