孟加拉语习语测试让决策模型错误率高达96%，英语下抵抗力强1.9至6.4倍！
Literal Lock-In: How Test Language Shifts Literal Attraction in Typed Decision Models on Bengali Idioms
📖 AI 总结
该研究审计了三类非生成式决策模型（编码器评分器、解码器评分器和闭源API），以专家标注的孟加拉语习语为测试材料，考察字面义选项对模型判断的干扰。核心发现是：将习语自身的字面释义放入选项列表后，各模型均被显著吸引，该干扰占各模型剩余孟加拉语错误的65%至96%；同一配对条目下，孟加拉语测试的受影响程度是英语的1.9至6.4倍，商业模型表现出的抗干扰性实为测试语言所致，且模型能力高低并不能决定失败程度。此外，三种模型的校准均出现退化，开源模型上置信度甚至发生倒置，按置信度筛选不如随机筛选；在无语义选项列表中准确率仅为随机水平时，校准最好的模型仍报告0.82的平均置信度。研究揭示了测试语言对决策模型字面义偏好的锁定效应，对模型作为路由器和防护栏的可靠性提出警示。
🔑 关键词速览
| 决策模型 | 非生成式评分器，对调用者提供的选项输出概率，不生成文本。 |
| 字面吸引 | 模型倾向于选择选项列表中与习语字面意义匹配的选项的现象。 |
| 孟加拉语习语 | 具有比喻义和字面义双重含义的孟加拉语固定表达。 |
| 校准 | 模型输出的置信度与实际准确率之间的一致程度。 |
| 置信度反转 | 模型在错误时表现出更高置信度的现象，导致基于置信度的门控失效。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅