仅用答案数据训练，逆向推理模型让困难任务通过率翻倍！
Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data
📖 AI 总结
该研究针对推理大模型后训练中监督微调依赖思维链数据、强化学习算力开销大的两难问题，提出一种仅使用"答案"数据的自蒸馏方法：将思维链视为隐变量，训练一个"逆向推理模型"，根据答案反推原始模型的推理轨迹。该逆向模型只需训练一次，即可离线复用于后续批次数据，尤其适合持续后训练场景。在Qwen3-0.6B上的Countdown和GSM8K实验中，当GRPO训练饱和后，单轮离线蒸馏使困难提示的pass@1约翻倍，并在Countdown的所有困难尾部指标上优于拒绝采样自蒸馏；继续GRPO虽在困难pass@1上略占优势，但在pass@8和pass@32上落后。此外，该逆向模型还可充当验证器，在测试时best-of-n选择中将Countdown的选择准确率从多数投票的0.753提升至0.969。
🔑 关键词速览
| 逆向推理大语言模型 | 一种根据答案生成原始模型推理轨迹的伙伴模型，用于自蒸馏。 |
| 思维链（CoT） | 模型在得出最终答案前生成的逐步推理序列。 |
| 自蒸馏 | 模型利用自身生成的信号进行训练，无需外部监督。 |
| GRPO | 一种强化学习优化算法，用于训练语言模型。 |
| pass@k | 评估指标，表示模型在k次尝试中至少有一次成功的概率。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅