苹果公司与约翰斯·霍普金斯大学的研究者提出 SELFCOMPACT,一种让语言模型代理自主决定何时及如何压缩上下文的推理框架。针对长轨迹中思维链与工具调用累积过时内容、最终超出上下文窗口的问题,现有方案依赖固定 token 阈值触发压缩,忽视轨迹结构,可能在推导或搜索中途丢弃部分结果。SELFCOMPACT 结合两个推理期组件:模型可调用的压缩工具,以及规定触发时机(子任务完成或轨迹收敛)与抑制时机(推导中途或陷入停滞)的轻量评分规则。二者缺一不可,无需微调或外部监督。在六个基准和七个模型上的实验显示,该方法以更低的 token 成本达到或超过固定间隔摘要,数学任务较无摘要基线最高提升 18.1 分,代理搜索提升 5 至 9 分,单题成本降低 30% 至 70%。研究揭示了一种元认知缺口:模型自身难以判断上下文何时腐化,而轻量规则可弥补这一缺口,将压缩时机重新定义为脚手架可提供的能力。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅