🔥 今日值得一读
网页智能体新突破：同完成率下成本直降31%，失败率最高降26%！
Web Agent Agentic Reinforcement Learning Decision Model Under Multi-Cost and Failure Risk
👨💼 主理人解读 · 为什么值得关注
做网页自动化Agent时，可用该框架在成功率、请求预算和失败风险间做长期最优决策。
📖 AI 总结
该论文针对真实网络环境中智能体交互受请求预算、时延、反爬限制和操作失败风险约束的问题，指出现有仅优化任务成功率的策略容易出现“高成功率但高成本”或“低风险但保守失败”的失衡现象。作者提出一种面向网络智能体的约束式智能体强化学习模型，将页面访问、搜索请求和外部API调用统一纳入带成本的长期决策框架，同时引入成本预算约束与尾部风险控制：构建由累计请求数、总时延和失败惩罚组成的多维成本向量，通过拉格朗日对偶更新实现预算合规，并利用CVaR风险项抑制对高失败概率路径的过度探索，从而在完成率、成本与风险之间取得自适应平衡。实验覆盖30至70个站点/页面模板和800至1500个端到端网络任务，交互序列达20至120步，工具规模为30至200。结果表明，在同等完成率下，该方法将每次成功成本降低22%至31%，在高失败惩罚下将失败率降低18%至26%；在固定预算下，任务完成率提升10%至16%，验证了约束建模对网络智能体实际部署的必要性与有效性。
🔑 关键词速览
| Agentic Reinforcement Learning | 智能体强化学习，指将强化学习应用于具有自主决策能力的智能体，使其在环境中通过交互学习最优策略。 |
| CVaR | 条件风险价值，一种衡量尾部风险的指标，表示在最坏情况下的预期损失，用于抑制高风险探索。 |
| Lagrange Dual Updates | 拉格朗日对偶更新，一种处理约束优化问题的方法，通过更新对偶变量来满足预算约束。 |
| C-PS | 每次成功成本，衡量智能体完成一次成功任务所需的平均成本，是评估效率的关键指标。 |
| Web Agent | 网络智能体，指在网页环境中自主执行任务（如信息抽取、表单提交）的智能程序。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅