🔥 今日值得一读
相同预算下Qwen3-1.7B数学推理平均涨4.87分！ASE让强化学习不再困在相似路径里
Exploration via Activation-Space Steering for Reinforcement Learning with Verifiable Rewards
👨💼 主理人解读 · 为什么值得关注
可在固定采样预算下让RLVR训练探索更多推理路径，缓解同质化、提升模型推理表现。
📖 AI 总结
本文提出一种名为激活空间探索（ASE）的在线方法，用于改善带可验证奖励的强化学习（RLVR）中训练轨迹多样性不足的问题。RLVR通过采样回答、自动验证打分并据此更新策略，但同一策略的重复采样容易集中于相似的推理路径，在固定采样预算下难以探索其他有效解法。ASE的核心做法是：对同一问题下正确与错误回答之间的激活差异进行聚类，构建结构化的潜在探索向量库，再将这些向量施加于后续采样以引导模型探索不同的推理路径。作者在DAPO-Math-17k上训练Qwen3-1.7B-Base和Qwen3-8B-Base，并在六个数学推理基准上评估，结果显示在相同采样预算下，ASE相较GRPO分别将平均Mean@8提升4.87和1.87个百分点。该工作表明，在激活层面进行有结构的干预可以在不增加采样成本的前提下提升探索效率，为RLVR训练中的探索策略提供了新思路。
🔑 关键词速览
| Reinforcement Learning with Verifiable Rewards (RLVR) | 一种利用自动验证器对模型输出进行评分并提供可验证奖励的强化学习范式，用于训练语言模型。 |
| Activation-Space Exploration (ASE) | 本文提出的在线探索方法，通过聚类正确与错误回答的激活差异构建探索向量库，以多样化训练 rollout。 |
| Rollout | 强化学习中策略与环境交互生成的一条轨迹或采样序列，在语言模型训练中通常指模型生成的回答。 |
| GRPO | Group Relative Policy Optimization，一种基于分组相对比较的策略优化算法，常用于语言模型的强化学习训练。 |
| Mean@8 | 一种评估指标，表示在 8 次采样中取平均性能，常用于衡量语言模型在推理任务上的表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅