平行分析竟被隐藏坐标“绑架”？75种变换实证：成分数中位数差0.79！
Representation Measurements Under Function-Preserving Reparameterizations
📖 AI 总结
该研究探讨了语言模型隐藏表示测量在函数保持重参数化下的不变性问题。核心发现是，列置换平行分析违反了这种不变性——当模型函数和观测协方差谱保持不变时，其参考分布和所选成分数仍可能改变。研究进一步证明，数据内部参考程序无法同时保持每个坐标边际、保持正交等变性并消除跨坐标协方差。实验覆盖五个模型、三个检索领域和75种变换，结果显示成分数中位差异为0.79，固定阈值决策中位差异为0.26。对照实验表明，1141个成分数在观测谱不变的情况下发生变化，而独立平行分析种子不改变任何决策。相比之下，正交不变比较器分数保持数值稳定且判别性能相似。这些结果揭示平行分析得出的成分数和决策可能反映隐藏坐标选择，而非模型本身的明确定义属性。
🔑 关键词速览
| Function-Preserving Reparameterization | 保持函数不变的重参数化，指改变模型内部表示但不改变其输入-输出映射的变换。 |
| Parallel Analysis | 平行分析，一种通过比较观测特征值与随机数据特征值来确定主成分数量的统计方法。 |
| Column-Permutation | 列置换，一种对表示矩阵的列进行重新排列的变换，属于函数保持的重参数化。 |
| Orthogonal Equivariance | 正交等变性，指测量结果在正交变换下以相应方式变化，从而保持几何关系的性质。 |
| Component Count | 成分数量，指在降维或因子分析中保留的主成分或因子的个数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅