🔥 今日值得一读
GRPO失败组零信号？VH-GPO师生交接让LLM智能体成功率从59%飙至95%！
VH-GPO: Verified Handoff for LLM Agent Reinforcement Learning
👨💼 主理人解读 · 为什么值得关注
可用于训练LLM Agent时恢复失败轨迹的学习信号，开发者能借此提升稀疏奖励下的训练稳定性。
📖 AI 总结
本文提出VH-GPO方法，旨在解决GRPO等组相对强化学习在训练LLM智能体时面临的奖励信号坍缩问题：当同一任务组内所有轨迹均失败且奖励相同时，相对优势趋近于零，模型无法获得有效学习信号。该方法的思路是引入冻结教师模型，从学生失败的状态出发提供必要支持，但关键在于确定控制权何时交还学生——VH-GPO通过环境验证的教师恢复过程，在有限搜索预算内选择最早被独立确认的交接点，使成功经验重新由学生生成。实验显示，在Qwen2.5-1.5B上，ALFWorld成功率从59.38%提升至94.79%，WebShop从71.62%提升至77.34%，7B模型上同样有效，且额外消耗的教师与学生输出token占比很低。消融实验验证了关键组件的有效性。该工作表明，经过验证的教师辅助可在修复失败的同时强化学生独立完成任务的能力。
🔑 关键词速览
| GRPO | 组相对策略优化，一种通过比较同一任务下多次轨迹的相对优势来训练LLM智能体的强化学习方法。 |
| VH-GPO | 验证交接组策略优化，本文提出的方法，在教师模型修复学生失败后，通过验证找到最早交接点将控制权交还给学生。 |
| Teacher-Student Handoff | 师生交接，指在强化学习中教师模型提供辅助后，将任务控制权转移回学生模型的过程。 |
| ALFWorld | 一个基于文本的交互式环境，用于评估智能体在家庭场景中完成多步任务的能力。 |
| WebShop | 一个模拟在线购物环境的基准测试，用于评估智能体在网页交互中完成购物任务的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅