Transformer权重藏了啥？行和列尺度场揭示功能通道组织，编辑冻结检查点直接改变损失！
A Mesoscopic View of Transformer Weights Through Row and Column Scale Fields
📖 AI 总结
本文提出一种介于整体统计与单个权重之间的"介观"分析视角，通过行、列尺度场刻画Transformer权重矩阵的幅度分布。作者将权重矩阵精确分解为全局尺度、行与列的对数均方根轮廓以及一个平衡核心，并在Pythia多个规模的公开检查点及三组初始化家族的受控实验中验证。结果显示，不同模型在平衡后呈现相似的核心幅度轮廓；一个形式预先固定、系数拟合的混合桥接模型能预测池化形状随场宽的偏离。尺度场还表现出跨共享功能通道投影的对齐，查询与键的轮廓跟随重新分配的RoPE频率而非固定矩阵坐标；训练轨迹显示场先形成、随后依组件扩展或收缩。将分析扩展到AdamW二阶矩后，其对数空间行列因子也呈现类似功能组织。对冻结检查点的编辑实验进一步区分了保持前向计算的互易尺度平衡与相对通道增益，压平增益会提高分布内损失而不改变矩阵范数与平衡核心。该工作为追踪和检验训练所得权重结构提供了新的坐标体系。
🔑 关键词速览
| 行和列尺度场 | 权重矩阵在行和列通道上的中位数中心对数均方根剖面，用于描述幅度分布。 |
| 平衡核心 | 通过平衡操作提取的权重矩阵核心部分，与全局尺度和尺度场一起精确表示原矩阵。 |
| 混合桥接 | 一种形式预先固定、系数拟合的模型，用于预测汇总形状对场宽度的偏离。 |
| RoPE频率 | 旋转位置编码中使用的频率，查询/键剖面遵循其重新分配而非固定坐标。 |
| AdamW二阶矩 | AdamW优化器中的二阶矩估计，其对数空间行和列因子显示功能组织。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅