该研究将文本到图像生成评估重新表述为约束满足问题,提出一个逻辑框架,形式化定义基准领域中的对象、属性、关系及生成图像须满足的约束,并据此评估四款先进模型在9类约束上的表现。结果显示,模型能力存在明显断层:最佳模型在单对象属性约束上准确率达98%,但在涉及逻辑算子的复杂多对象关系约束上仅53%;组合泛化方面,单约束提示准确率为84%,同时满足多重约束时骤降至20%;识别不可满足约束同样困难,最佳模型仅正确识别23%。基于该框架,作者提出LogicVal评估方法,结合神经视觉检测与逻辑推理判断约束满足情况,在CLEVR上取得0.88至0.98的ROC-AUC,与人类判断高度一致。该工作表明基于逻辑的评估能更细致刻画T2I模型的能力边界与局限。
| 约束满足问题 | 一种数学问题,要求找到满足所有给定约束条件的解。 |
| 逻辑运算符 | 用于连接命题的逻辑符号,如全称量词∀、存在量词∃、计数和蕴含→。 |
| 组合泛化 | 模型在训练中未见的组合场景下正确理解和生成的能力。 |
| ROC-AUC | 受试者工作特征曲线下面积,用于衡量二分类模型的性能。 |
| CLEVR | 一个用于组合语言和视觉推理的合成数据集,包含几何形状和关系。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅