🔥 今日值得一读
RLVR域外收益82%是假的！答案格式冒充能力提升
Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?
👨💼 主理人解读 · 为什么值得关注
评估RLVR泛化收益时，需警惕答案提取器带来的格式红利，避免高估模型真实能力。
📖 AI 总结
本研究探讨了带可验证奖励的强化学习（RLVR）在域外任务上报告的性能提升究竟有多少来自答案格式的变化，而非实际答题能力的提高。作者指出，此类提升通常由答案提取器从模型输出中读取，模型若学会将答案写在提取器关注的位置，就能在不提升答题质量的情况下获得更高分数。为量化这一效应，研究者在四个已发布的7B SimpleRL基础模型与RL模型对上，分别用公开代码中的提取器和自研提取器（无论答案位于\boxed{}还是正文中均可识别）对同一批输出进行双重评分。结果显示，这些提取器报告的域外多选题提升中有82%在自研提取器下消失，属于格式增益而非答案增益；独立LLM阅读器给出的比例为77%，而使用要求答案置于框内的提示时该比例为79%。在一个采用不同训练配方的32B模型对上，几乎不存在格式增益。研究表明，报告的性能提升部分取决于所用提取器，通过用第二个提取器重新评分已存储的输出即可衡量这一影响，无需重新运行强化学习。
🔑 关键词速览
| RLVR | 带可验证奖励的强化学习，一种使用可自动验证的奖励信号来训练语言模型的方法。 |
| 答案提取器 | 从模型生成的文本中自动提取最终答案的组件，通常基于正则表达式或规则。 |
| 域外增益 | 模型在训练领域之外的任务上表现出的性能提升。 |
| 答案格式 | 模型呈现答案的方式，例如将答案放在特定标记（如\boxed{}）中或在文本中陈述。 |
| SimpleRL | 一种用于训练语言模型的强化学习配方或框架，此处指代已发布的模型对。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅