🔥 今日值得一读
两层Transformer排序竟学出两种解法，只有一种能完美泛化到任意长度！
Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
👨💼 主理人解读 · 为什么值得关注
揭示初始化决定Transformer能否泛化到更长序列，可指导训练时选初始化以提升外推能力。
📖 AI 总结
该研究训练两层Transformer完成排序任务，发现模型在训练损失接近零时会收敛到两类机制不同的解，具体走向取决于权重初始化。第一类解不依赖第二层注意力完成排序，但无法泛化到更长序列；第二类解同时使用两层注意力，尽管只在固定长度序列上训练，却能完美实现长度泛化。作者通过精心选择初始化，可以引导模型学到其中任意一类解。研究指出，某些输入类型在训练长度下罕见、但在更长序列中愈发常见，是造成两类解泛化能力差异的原因；第二类解通过层间分工更准确地处理这些罕见序列，并揭示了第二层注意力利用第一层收集的上下文信息缩小搜索空间的机制。在求序列最小值任务上，作者观察到类似的两类解现象，但泛化模式相反：另一种层间分工导致两层解的长度泛化反而弱于单注意力解。该工作为理解Transformer的算法学习机制与长度泛化提供了新的视角。
🔑 关键词速览
| 长度泛化 | 模型在训练时仅见过固定长度序列，却能在推理时处理更长序列的能力。 |
| 注意力层 | Transformer中用于计算序列元素间依赖关系的核心组件，此处特指多层堆叠中的单层。 |
| 权重初始化 | 神经网络训练前对参数赋初值的过程，不同初始化可引导模型收敛到不同解。 |
| 分层专业化 | 不同网络层学习到分工明确、各司其职的特定功能或表示。 |
| 机制可解释性 | 逆向分析神经网络内部计算机制，理解其如何实现特定任务的研究方向。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅