Transformer推理层序效应实测：对齐度达随机打乱路径1.60至2.24倍！
High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference
📖 AI 总结
该研究将Transformer推理过程中按层顺序排列的隐藏状态轨迹作为可观测的经验过程，检验层序是否构成可测量的计算。在Qwen、Llama和Gemma等模型上，实际层序产生的轨迹与端点弦的对齐度是保持端点随机打乱后的1.60至2.24倍，且该顺序效应可迁移到词汇任务，但在同一架构的随机初始化模型中更强，表明其源于架构兼容的支架而非训练特异的规律。研究还发现直接隐藏状态比词汇回读提供更强的机制坐标，局部转移执行器可选择性控制内部轨迹，并借助置信门控使87条Qwen闭合轨迹中的17条跨越全词表top-1候选边界，同时不影响203条非闭合输出。该工作揭示了层序作为可计算且具行为后果的推理过程，但未建立完整的LLM动力学理论或答案正确性控制。
🔑 关键词速览
| 层状态轨迹 | 模型推理过程中各层隐藏状态按顺序形成的路径，用于刻画计算过程。 |
| 端点弦 | 轨迹起点和终点之间的直线，用于衡量轨迹的直线对齐程度。 |
| 隐藏状态 | 模型内部各层输出的向量表示，直接反映中间计算信息。 |
| 局部转移执行器 | 一种干预模块，用于选择性地控制模型内部状态之间的转移。 |
| 置信门控 | 根据模型置信度决定是否干预轨迹的机制，用于选择性控制输出。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅