🔥 今日值得一读
不存历史截图照样打！ECHOES让GUI智能体性能记忆双提升
ECHOES: Seeing Beyond the Current Image via Recursive History Compression and Privileged On-Policy Distillation
📖 AI 总结
该论文针对长程GUI智能体在视觉历史保留上的两难问题提出解决方案：保留历史截图会显著增加视觉token消耗与推理成本，而文本摘要又可能丢失关键状态信息，影响长程可靠性。作者提出ECHOES方法，利用训练阶段的特权信息指导文本历史压缩，采用“压缩—思考—行动”（CTA）格式递归更新文本历史状态并进行推理；同一模型在获得特权多图输入时充当教师，对学生生成的CTA轨迹提供密集的token级在线策略蒸馏，并通过感知—记忆保真度（PMF）差距引导的OPD-RL框架动态平衡特权蒸馏与任务奖励优化，配合周期性教师更新实现持续改进。作者还构建了源自真实GUI智能体失败轨迹的诊断基准ECHOESBMK，用于联合评估视觉感知与跨模态状态保持。在四个GUI基准和ECHOESBMK上的实验显示，任务性能与记忆保真度均有明显提升；部署阶段无需保留历史截图即可达到有竞争力的表现，在性能与推理成本之间取得良好权衡，并对未见视觉规划任务表现出正向零样本迁移。
🔑 关键词速览
| ECHOES | 本文提出的方法，利用训练时特权信息引导文本历史压缩，以增强长程GUI智能体的推理能力。 |
| Compression-Think-Action (CTA) | 一种递归更新文本历史状态并进行推理的格式，包含压缩、思考和行动三个步骤。 |
| On-Policy Distillation (OPD) | 一种知识蒸馏方法，教师模型在学生模型生成的轨迹上提供token级监督。 |
| Perception-Memory Fidelity (PMF) Gap | 衡量视觉感知与跨模态状态保持之间差距的指标，用于指导蒸馏与强化学习的平衡。 |
| ECHOESBMK | 一个源自真实GUI智能体失败轨迹的细粒度诊断基准，用于评估视觉感知和状态保持能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅