🔥 今日值得一读
88%数学题白练了！新方法让RLVR数据效率飙升
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
📖 AI 总结
该研究针对RLVR（可验证奖励强化学习）数据扩展中的有效性问题，提出数据集规模本身并不能决定其是否为目标策略提供有用学习信号。作者通过实验刻画了数据有效性与问题、目标策略及训练 rollout 预算之间的关系，发现从常用RLVR数据集中汇集的大型开源数学语料几乎全部落入“零优势陷阱”：在固定策略和预算下，约88%的问题在每次 rollout 中要么全对、要么全错。过滤只能筛选剩余部分，无法保留难题。为此，作者提出MagicBeanStalk，一种自上而下分解与自下而上递归的数据合成算法，将种子问题扩展为策略与预算校准的新训练问题，同时保留原推理蓝图。在8个数学基准上，该方法使gpt-oss-120b从61.2提升至69.8，DeepSeek v4Flash从72.4提升至77.9，显著优于全量语料训练和最佳过滤真实数据子集；在金融领域，仅用340个解即合成超1.4万个可验证问题，并在SecQue和FinanceBench上分别提升6.9和2.4分。
🔑 关键词速览
| RLVR | 可验证奖励的强化学习，一种利用可自动验证的奖励信号来训练语言模型的方法。 |
| 零优势陷阱 | 指数据集中大多数问题对目标策略而言要么总是被解决要么总是失败，导致优势信号为零，无法提供有效学习梯度。 |
| 推演预算 | 在强化学习训练中，为每个问题生成解答所允许的最大计算资源（如token数量）。 |
| MagicBeanStalk | 本文提出的递归数据合成算法，通过自顶向下分解和自底向上生长，生成难度校准且保留推理蓝图的新训练问题。 |
| 持续RLVR | 在已有模型基础上，使用新合成的数据进行持续的强化学习训练，以进一步提升模型能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅