智能体任务完成率86%,备份意识却只有15.2%!BackUpper插件每任务仅0.014美元实现92.2%状态恢复
Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents
arXiv AI (cs.AI) 重要 Agent评测安全对齐 🕐 今天 12:00

📖 AI 总结

该研究关注编码智能体在执行任务时缺乏备份意识的问题,即它们很少在修改可能日后需要的状态之前主动保存。作者构建了RegretBench基准,包含205个可执行任务,来源于用户在GitHub、Stack Overflow等平台明确表达后悔未保存状态的真实场景。测试六个前沿模型发现,智能体平均完成86.1%的任务,但仅15.2%的情况下会在关键时刻前备份,说明任务完成能力并不等同于备份意识。为此,作者提出BackUpper,一种在每次工具调用前检查并保存受影响状态的插件式备份层,结合规则策略与轻量子智能体处理复杂情况。在RegretBench上,BackUpper覆盖所有后悔时刻的操作,恢复状态与原状态平均相似度达92.2%,每任务成本仅0.014美元,token消耗比主智能体自我备份基线少7倍;当用户对备份范围有偏好时,其判断与人工标注的F1分数为84.5%。结果表明,智能体能够以低成本保持操作可逆,同时尊重用户偏好。

🔑 关键词速览

备份意识智能体认识到某个动作将修改之后可能需要状态并事先保存的能力。
RegretBench一个包含 205 个可执行任务的基准,用于评估智能体的备份意识,任务基于用户后悔未保存状态的时刻。
BackUpper一种插件式备份层,检查每次工具调用并在修改前保存受影响状态,结合规则和子代理。
后悔时刻用户明确后悔没有保存后来需要的状态的特定时刻。
harness 插件一种集成到智能体执行框架中的插件,用于扩展功能。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅