🔥 今日值得一读
余弦相似度0.996竟是采样噪声！可解释性迁移的噪声本底被忽视
Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization
👨💼 主理人解读 · 为什么值得关注
做模型量化与可解释性迁移的开发者可用此噪声下限判断指标是否真实可信，避免误判。
📖 AI 总结
这篇论文指出，可解释性研究中普遍存在一个方法论缺陷：当把全精度模型上校准的可解释性工具迁移到量化模型时，研究者常用余弦相似度等尺度不变统计量来证明其“存活”，却未报告解读这些数值所必需的噪声基线。作者以差值均值方向估计器为例，推导出分半噪声基线由单一无量纲量κ=nρ²/d决定，其中类别分离度ρ此前从未在压缩迁移研究中被报告。在Qwen2.5-1.5B-Instruct上测得ρ为33至61，意味着仅凭采样，两次独立估计即可达到0.978至0.994的余弦一致度。因此，已发表的0.996余弦值在缺少样本量n的情况下不能作为保真证据。作者主张应在量化模型内部测量分半零假设，结果显示INT4下方向发生旋转且超出估计器自身噪声，INT8下未检测到移动但并非等价性结论。论文还指出尺度不变统计量无法区分决策变量的平移与衰减，二者需要相反的处理方式，并给出仅需一次前向传播的报告建议。
🔑 关键词速览
| 噪声本底 | 在无真实效应时，由随机采样或测量误差导致的统计量自然波动范围。 |
| 尺度不变统计量 | 对向量整体缩放不敏感、只反映方向或相对关系的指标，如余弦相似度、相关系数。 |
| 均值差方向估计器 | 通过计算两类激活均值向量之差来估计决策方向的方法。 |
| 分半本底 | 将数据随机分成两半分别估计同一量，用两次估计的差异来刻画估计器自身噪声。 |
| 量化 | 将模型权重从高精度（如FP16）压缩到低比特（如INT4/INT8）以减少存储和计算开销。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅