训练过的Transformer竟会快速遗忘提示，幂律衰减揭示语言模型记忆机制！
A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt
📖 AI 总结
该论文研究自回归Transformer在生成t个token后对初始提示的保留程度。作者比较两个不同提示接相同续写文本时隐藏状态的差异，发现其距离约按幂律t^-α衰减，α=1对应固定提示在均匀注意力中份额的收缩速率，α越小记忆越长。实验显示训练模型遗忘较快（α约0.55–0.7），未训练模型遗忘较慢（α约0.2–0.5）。论文证明该偏移上界为O(P(log t)^{L-1}/t)，适用于满足有界注意力logits且pre-norm激活远离零的有限深度pre-LN softmax Transformer。机制在于提示直接影响随上下文增长被稀释，续写token的“接力”仅增加对数因子，故提示对下一token的影响随t增大而消失，存留属性须由生成文本自身承载。可解线性接力模型表明该界不可改进，并用logit偏置实验说明稀释是所测遗忘的必要条件。
🔑 关键词速览
| 条件无毛定理 | 指在给定已生成文本的条件下，提示对下一个token的影响随生成token数增加而消失的定理。 |
| 幂律衰减 | 隐藏状态距离随生成token数$t$按$t^{-\alpha}$形式衰减的规律。 |
| 中继 | 延续token传递先前token从提示中读取的信息的机制。 |
| pre-LN softmax Transformer | 一种在自注意力等子层之前应用层归一化的Transformer架构。 |
| logit偏置 | 添加到注意力logits上的偏置项，用于调节注意力分布。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅