微调更新秩仅略低于噪声，80亿参数13个模型全验证：对齐主张需要无对齐对照！
Rank Measures of Fine-Tuning Updates Need a Noise Baseline
📖 AI 总结
该论文研究微调对语言模型权重更新（ΔW）的秩度量问题，指出此类度量必须引入噪声基线才能正确解读。作者将常用的秩指标与同形状随机矩阵、预训练权重以及无对齐内容的匹配微调进行对比，发现计数方向的指标显示微调更新仅略低于噪声水平，而基于相同奇异值的稳定秩则显示其远低于噪声；两者并不矛盾，反映的是更新由少数强方向叠加长尾构成的结构。该模式在13对最多80亿参数的已发布模型上均成立，且并非对齐训练所特有：在训练条件固定时，指令数据与维基百科或代码数据无显著差异，DPO在偏好标签真实或随机交换一半时产生相同更新，打乱文本反而给出最集中的更新。作者据此检验了“后训练因权重有效秩几乎不变而流于表面”的近期主张，表明同规模随机更新几乎不改变该秩却会严重破坏模型，而基于更新有效秩构造的编辑在测试中无可测效果。结论是权重更新的秩度量需要噪声基线，关于对齐的论断需要无对齐内容的对照实验。
🔑 关键词速览
| 秩度量 | 用于量化矩阵秩的指标，如计算方向数或稳定秩，以概括权重更新的特性。 |
| 稳定秩 | 一种基于奇异值的矩阵秩度量，对奇异值分布敏感，能反映矩阵的有效维度。 |
| 噪声基线 | 作为参考的随机矩阵度量，用于判断微调更新是否显著偏离随机噪声。 |
| DPO | 直接偏好优化，一种无需奖励模型的偏好对齐微调方法。 |
| 有效秩 | 衡量矩阵有效维度的指标，常用于分析权重矩阵的秩变化。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅