停止梯度选不出充分统计量！CPSS读出在输出前达峰值
Conditional Predictive Sufficient Statistics for Visual Representation Learning
📖 AI 总结
本文提出条件预测充分统计量（CPSS）这一概念，用于刻画理想视觉表征应具备的性质：即从观测到的图像块中提取与未来共享的潜在因子，同时丢弃各块独有的噪声。作者在图像块共享因子模型下证明，过去与下一图像块之间的互信息等于过去所携带的共享因子信息，用余弦损失预测下一图像块的嵌入方向，等价于对冯·米塞斯-费希尔分布做最大似然估计，可作为预测信息的可计算代理。研究同时指出，该损失函数也可被常数嵌入最小化，因此停止梯度本身并不能选出充分统计量，只能阻断实现常数解所需的对称梯度。在 MNIST 和 CIFAR-10 上的因果 Transformer 实验显示，CPSS 读出在输出层之前达到峰值，且移除停止梯度会导致嵌入有效秩崩溃，验证了理论推导中的几何性质。
🔑 关键词速览
| 条件预测充分统计量 (CPSS) | 一种形式化要求，指对观测过去的统计量，它保留与未来共享的潜在因子，同时丢弃图像块私有的噪声。 |
| 共享因子模型 | 一种图像块生成模型，假设每个图像块由一组共享的潜在因子和块私有的噪声共同生成。 |
| von Mises-Fisher 模型 | 一种用于单位球面上方向数据的概率分布，常用于建模嵌入向量的方向。 |
| 停止梯度 (stop-gradient) | 一种训练技巧，在反向传播时阻止梯度流过某些变量，常用于避免表示坍缩。 |
| 有效秩 | 嵌入矩阵的秩，反映嵌入空间的维度利用率，有效秩低表示嵌入坍缩到低维子空间。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅