LLM搞不懂“孩子们笑了”既非真也非假，超84%否定句被误判为假
Neither True nor False: Do LLMs Represent Truth-Value Gaps in Plural Predication?
📖 AI 总结
本研究考察大语言模型是否真正理解复数描述的成真条件，还是将所有句子强行归为真或假。作者聚焦“同质性缺口”这一语义现象：当只有部分孩子笑了时，复数定指“孩子们笑了”及其否定“孩子们没笑”既非真也非假，而对应的量化表达（全部、并非全部）则保持严格二值。为此，研究构建了HomogeneityNLI诊断数据集，包含1000个最小配对项目，交叉限定词、极性和群体构成，覆盖十种逻辑条件。对七个开放权重模型的评估揭示出普遍存在的“二值偏见”：模型虽能赋予复数定指同质真值条件，将“孩子们”读作“全部”、“孩子们没笑”读作“一个都没”，却把真值缺口坍缩为假。零样本下，没有任何模型能在超过15%的情境中同时识别两种极性的缺口，否定定指在84%的案例中被判为假。显式语言规则、思维链和枚举提示效果不稳定且因模型而异，往往反而强化偏见。这表明当前开放权重模型习得了复数谓述的成真条件，却未掌握其三值逻辑。
🔑 关键词速览
| Homogeneity Gap | 同质性空缺，指复数定指及其否定在部分满足时既非真也非假的语义现象。 |
| Bivalence Bias | 二值偏见，指模型倾向于将本应三值的真值空缺强行判定为真或假。 |
| Plural Predication | 复数谓述，涉及复数名词短语作为主语或宾语的语义谓述结构。 |
| Trivalent Logic | 三值逻辑，一种包含真、假和第三值（如不确定）的逻辑系统。 |
| HomogeneityNLI | 一个用于评估模型对同质性空缺理解的诊断数据集，包含最小对项目。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅