📖 AI 总结

这篇论文质疑了以相似度分数作为模型与大脑或跨语言间共享结构证据的常见做法，指出当共享结构并不存在、或测量工具本身失效时，分数会产生误导。作者在两组实验中验证了这一担忧。在跨语言语法判断探针实验中，探针向语言距离更远的方向迁移效果越差，但探针自身性能也沿同一方向下降，17种语言中有4种仅达随机水平，导致272个语言对中有64个是用失效工具评分的；剔除这些语言后关系强度减半，但它们恰恰是距离最远的语言，该设计无法区分两种效应。统计单位同样关键：将272个语言对视为独立时p值为0.0006，而以17种语言为正确单位时p值为0.155。在脑对齐实验中，训练语言模型匹配人脑反应可将相似度从0.10提升至0.34（上限0.54），但用对应关系被破坏的目标训练仍得0.31，说明仅0.028至0.068的提升与大脑特异相关；即便不使用任何模型，被破坏的目标与真实目标的相似度已达0.204。此外，沿语言自身方向进行引导虽有效，却不随语言距离变化。作者由此提出，在追问某种对应关系是否有用之前，应先考察若不存在该对应，分数还能剩下多少。

🔑 关键词速览