最强模型单约束准确率98%,多约束直接暴跌到20%!
LogicVal:A Logic-Formalized Benchmark for Constraint Satisfaction in Text-to-Image Generation
arXiv AI (cs.AI) 多模态评测基准论文方法 🕐 今天 12:00

📖 AI 总结

该研究将文本到图像生成评估重新表述为约束满足问题,提出一个逻辑框架,形式化定义基准领域中的对象、属性、关系及生成图像须满足的约束,并据此评估四款先进模型在9类约束上的表现。结果显示,模型能力存在明显断层:最佳模型在单对象属性约束上准确率达98%,但在涉及逻辑算子的复杂多对象关系约束上仅53%;组合泛化方面,单约束提示准确率为84%,同时满足多重约束时骤降至20%;识别不可满足约束同样困难,最佳模型仅正确识别23%。基于该框架,作者提出LogicVal评估方法,结合神经视觉检测与逻辑推理判断约束满足情况,在CLEVR上取得0.88至0.98的ROC-AUC,与人类判断高度一致。该工作表明基于逻辑的评估能更细致刻画T2I模型的能力边界与局限。

🔑 关键词速览

约束满足问题一种数学问题,要求找到满足所有给定约束条件的解。
逻辑运算符用于连接命题的逻辑符号,如全称量词∀、存在量词∃、计数和蕴含→。
组合泛化模型在训练中未见的组合场景下正确理解和生成的能力。
ROC-AUC受试者工作特征曲线下面积,用于衡量二分类模型的性能。
CLEVR一个用于组合语言和视觉推理的合成数据集,包含几何形状和关系。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅