400步账本任务中，无关内容块让计数器20个种子全崩，重复识别后期风险飙升6倍！
Context Injection and Long-Horizon Reliability: Separating Duplicate Recognition, Local Processing, and Counter Tracking
📖 AI 总结
这篇论文研究语言模型在长程任务中的可靠性问题，采用逐步评分方法，将400步账本任务拆解为重复识别、局部处理和计数器追踪三个组件，每步难度都不高，但模型自身的回答会被重新注入上下文。在Qwen3-8B上以20个随机种子进行测试并在另一台机器和后端复现，得到两项主要发现：一是重复识别错误在任务后期显著上升，从每步0.0019增至第200步后的0.011，源于长距离召回失败与误报增加，而计数器在8000步中零错误，局部处理保持稳定；二是在每步前插入无关内容块后，计数器在全部20个种子中均失败，而对局部处理的影响不明显。三项预注册后续实验进一步表明，计数器取值依赖响应历史中的既有值，被污染的值会持续不被纠正，而每步前重复提供精确外部提醒可在一至两步内使其重新对齐，且在无关内容干扰下，由预言机提供精确紧凑状态提醒时20个种子均无计数器错误。研究指出，聚合或排他性的错误分类会掩盖上述组件间的差异。
🔑 关键词速览
| 长期可靠性 | 指语言模型在长序列任务中保持性能稳定的能力，通常随步数增加而下降。 |
| 上下文注入 | 将模型自身的先前输出重新放入其上下文，以模拟持续交互或记忆过程。 |
| 重复识别 | 模型判断当前记录是否在之前步骤中出现过的能力，涉及长距离回忆。 |
| 计数器跟踪 | 模型在每一步递增并维护一个计数值的任务，测试其状态跟踪能力。 |
| 预言机提醒 | 由外部理想系统提供的精确状态信息，用于辅助模型纠正错误。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅