🔥 今日值得一读
长时程智能体记忆竟现重尾分布，CTWM控制法省24.48%令牌还降13.6%误差！
Heavy-Tailed Memory Traces in Long-Horizon Language Agents
👨💼 主理人解读 · 为什么值得关注
帮助开发者诊断智能体外部记忆是否过度集中，避免长尾状态预测误差累积。
📖 AI 总结
这篇论文关注长程语言智能体的外部记忆使用形态，指出仅以任务成功率或token开销评价记忆系统并不充分，记忆在有限上下文与反复检索下会呈现“核心—长尾”结构：少量状态被高频访问，大量稀有状态滞留在长尾中并持续累积预测误差。作者通过保守的长尾审计发现，这种集中现象可复现但依赖策略，随机游走智能体产生近似对数正态的检索痕迹，而语义LLM策略则呈现最强的截断幂律式核心—长尾特征。基于此，作者提出基于秩的记忆控制器CTWM，用单一指数τ分配提示预算并保留摘要化长尾。在合成图世界、ALFWorld和LongMemEval上，CTWM在保持状态覆盖与准确率的同时分别降低5.9%、稳定节省及24.48%的token，并将长尾预测误差降低13.6%。该工作表明重尾记忆痕迹既是有限检索的诊断指标，也可作为token高效世界模型的控制信号。
🔑 关键词速览
| 长时程语言智能体 | 指需要在长时间跨度内执行任务、依赖外部记忆维持状态的语言模型智能体。 |
| 重尾记忆痕迹 | 描述智能体记忆使用分布呈现重尾特征，即少数核心状态被频繁访问，大量稀有状态形成长尾。 |
| 核心-尾部世界模型 (CTWM) | 一种基于秩的记忆控制器，通过单一指数分配提示预算并保留摘要化尾部，以平衡核心与尾部状态。 |
| 截断幂律 | 一种概率分布，尾部按幂律衰减但存在截断，常用于描述复杂系统中的重尾现象。 |
| 提示令牌 | 指输入给语言模型的提示文本所包含的令牌数量，是衡量计算成本的重要指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅