🔥 今日值得一读
微调模型靠拼接提示逆袭，AIME和奥赛证明题双双超越未编辑轨迹蒸馏！
Splicing Hints into Reasoning Traces: Learning from Demonstrator Failures
👨💼 主理人解读 · 为什么值得关注
可用于数学证明等无答案可验证任务，开发者能借离线拼接提示生成高质量推理训练数据。
📖 AI 总结
本文提出SPLICE方法，旨在解决强化学习在数学推理训练中的验证困境：当最终答案可验证时，正确答案并不能保证推导过程正确，而证明题则根本没有可验证的答案。若将推理模型作为训练循环内的验证器，则要求策略本身已能偶尔产生正确尝试，这在奥赛级别问题上往往无法满足。SPLICE将验证与修复移出训练循环，转入离线数据生成：由第二个模型仅依据参考解答，在推理模型生成轨迹的过程中实时编辑，验证进展、在最后一个已验证步骤处截断失败轨迹，并拼接自适应增强的提示直至恢复进展。由此得到的数据集包含经修复的样本，即原始无辅助轨迹失败、失败续写被移除且进展被反复对照参考解验证的案例。实验表明，在SPLICE轨迹上微调的模型在AIME及经人工评分验证的奥赛证明评分协议下，均优于从同一推理模型未编辑轨迹蒸馏的模型。训练后模型的轨迹还表现出相应行为特征：在困难处会以拼接提示的风格宣告分支并采取更高风险步骤，预测熵在该处及之后升高，而未编辑轨迹训练的模型无此模式。
🔑 关键词速览
| SPLICE | 一种离线数据生成工作流，通过第二个模型在推理轨迹生成过程中验证进展、截断失败步骤并拼接自适应提示来修复轨迹。 |
| 可验证奖励的强化学习 | 一种强化学习范式，其奖励信号来自对最终答案是否正确的自动验证，常用于数学推理任务。 |
| 循环内验证器 | 在强化学习训练循环内部充当奖励或验证信号的模型，用于判断策略输出是否正确。 |
| 蒸馏 | 让一个学生模型学习另一个教师模型（此处为推理模型）生成的轨迹或输出分布，以迁移其能力。 |
| 预测熵 | 模型在生成每个 token 时输出概率分布的熵，用于衡量模型在该位置的不确定性或犹豫程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅