梯度训练竟能自动学出矩阵记忆所需秩，K=4时恢复率从0.0004飙到0.97！
When the Gradient Sees Rank: Provable Necessity, Causal Recruitment, and Composition in Trained Matrix Memories
📖 AI 总结
这篇论文研究基于梯度的训练能否让矩阵记忆学到存储与组合关联所需的秩。作者在需要秩至少为K才能精确线性恢复的K个键值绑定上训练矩阵记忆，并用固定线性读出查询单一矩阵状态。实验发现，学到的有效秩随K增大而上升，在d=16时Spearman相关系数达1.0；训练时的秩上限会在k=K附近产生恢复相变，例如d=8、K=4时，秩3的恢复率至多0.0004，秩4则达0.97。五个随机种子中有四个在训练算子自应用21次后仍保持至少0.9996的恢复率，且实体子空间上的学习算子有效秩接近K并逼近理想循环。该工作为梯度训练能够发现并利用任务所需秩提供了可证明的必要性与因果证据，同时揭示了编码器宽度固定时更大矩阵维度下恢复性能下降的局限。
🔑 关键词速览
| 矩阵记忆 | 一种使用矩阵状态存储键-值关联的神经网络记忆机制。 |
| 有效秩 | 学习到的矩阵算子的秩，反映其存储和恢复关联的能力。 |
| 键-值绑定 | 将键映射到值的关联对，是记忆存储的基本单元。 |
| 余弦相似度 | 衡量两个向量方向相似度的指标，常用于评估恢复质量。 |
| 实体子空间 | 与实体表示相关的子空间，学习到的算子在此近似理想循环。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅