🔥 今日值得一读
Stiefel流形约束让注意力准确率从61%飙到97%！
Stiefel Attention: When the Geometry of Transformer Projection Matrices Dominates Optimizer Choice---and When It Does Not
👨💼 主理人解读 · 为什么值得关注
想改进Transformer注意力训练稳定性，可尝试把Q/K投影约束到Stiefel流形，用黎曼Adam替代欧氏优化。
📖 AI 总结
本文研究Transformer注意力机制中查询和键投影矩阵的优化问题。作者将这两个投影矩阵约束在Stiefel流形上，并采用一种黎曼Adam优化器进行训练，该优化器为每个框架维护一个标量二阶矩、通过信赖域限制步长并以极分解进行回缩。论文通过四个命题证明该更新在嵌入度量下为最速下降、与梯度尺度无关、条件良好且具有精确的O(d)等变性，并用float64数值验证。第五个命题揭示了机制：权重衰减在Stiefel流形上的黎曼梯度恒为零，使学到的注意力几何结构能在模型其余部分的坍缩周期中存活。实验显示，在模运算grokking任务上单次运行在第20000轮达到97.0%验证准确率，基线仅为61.1%；在CIFAR-10图像块任务上，该方法在12组配对初始条件下平均提升8.98个百分点，且差距随数据量增大而扩大。消融实验表明增益主要来自步长尺度的自由化，而非投影器或等变性。
🔑 关键词速览
| Stiefel 流形 | 一种由所有列正交矩阵构成的黎曼流形，常用于约束神经网络中的权重矩阵以保持正交性。 |
| 黎曼 Adam | 一种在黎曼流形上运行的 Adam 优化器变体，利用流形的几何结构进行梯度更新。 |
| 权重衰减 | 一种正则化技术，通过在损失函数中添加权重范数的惩罚项来防止过拟合。 |
| grokking | 一种训练现象，模型在长时间训练后突然从记忆训练数据泛化到验证数据。 |
| 等变性 | 指模型对输入变换的响应与变换本身可交换的性质，例如旋转输入导致输出相应旋转。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅