本文提出 EvoSkill-GUI,一个面向 GUI 智能体的免训练技能进化框架。研究指出,现有技能框架多将技能视为部署前生成的静态产物,未针对弹窗、延迟加载、控件移位等动态执行环境设计,难以应对长周期任务中计划失效的问题。EvoSkill-GUI 将每个技能组织为结构化多文件包,包含检索元数据、可执行计划、备用定位、失败恢复规则、无障碍工具及失败案例,并通过“反思—修订—复用”循环运行:执行器在 rollout 中即时修订,隔离的批评器在严格信息隔离下诊断失败轨迹,执行器再经受限工具接口编辑具体技能文件。在 MobileWorld、AndroidWorld 和 OSWorld 三个主流基准上,该方法无需任何训练即可稳定提升多种基座模型,最大增益分别为 16.2%、6.0% 和 10.5%,且进化后的技能库可迁移受益于相关任务,而非每次从零重建。
| GUI Agent | 图形用户界面智能体,指能感知并操作图形界面以完成任务的AI程序。 |
| Training-Free | 免训练,指无需更新模型参数或额外训练即可部署和适应新任务的方法。 |
| Skill Evolution | 技能演化,指技能库根据执行反馈在部署过程中被动态修订和优化的过程。 |
| Reflect-Revise-Reuse | 反思-修订-复用循环,一种通过诊断失败、修改技能并复用改进后技能来持续提升智能体表现的机制。 |
| Long-Horizon Task | 长时程任务,指需要多步骤、长时间交互才能完成的复杂任务。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅