🔥 今日值得一读
ReAPO让失败重试也能得分，首次尝试性能碾压GRPO！
ReAPO: Retry-Aware Policy Optimization for Efficient Exploration in LLM Reasoning
👨💼 主理人解读 · 为什么值得关注
改进带错误重试的RL推理训练，让模型更有效利用失败尝试，可用于提升数学与代码推理的RL训练效率。
📖 AI 总结
本文提出ReAPO（Retry-Aware Policy Optimization），针对RLVR中独立随机采样易重复失败策略、探索效率低的问题，将信用分配问题建模为经典强化学习中的随机最短路径框架，并据此对GRPO做简单修改：为失败轨迹分配额外生成机会，使成功的重试得到强化而不奖励此前的失败，同时以理论上有依据的方式为每次尝试分配信用。作者在Qwen3和OLMo-2（0.6B至4B）及八个数学与科学推理基准上验证，ReAPO在首次尝试准确率上优于GRPO及近期基线；消融实验表明串行采样与信用分配均有贡献。在Qwen3-0.6B上，ReAPO以更少生成token达到GRPO双倍组规模或双倍训练步数的峰值准确率，分别节省39%和31%的token。结果表明，改进探索与重试感知的信用分配是提升语言模型推理性能的简单有效途径。
🔑 关键词速览
| RLVR | 可验证奖励的强化学习，一种利用可自动验证的奖励信号来训练语言模型推理能力的方法。 |
| GRPO | 组相对策略优化，一种基于分组采样和相对优势估计的强化学习算法，常用于语言模型微调。 |
| Stochastic Shortest Paths | 随机最短路径，经典强化学习框架，旨在最小化到达终止状态的期望累积成本。 |
| Credit Assignment | 信用分配，指在强化学习中为序列决策中的每个动作或尝试分配奖励或惩罚的过程。 |
| Retry-Aware Policy Optimization (ReAPO) | 重试感知策略优化，本文提出的方法，通过为失败轨迹分配额外生成并合理分配信用来改进探索。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅