🔥 今日值得一读
自蒸馏新突破！1.7B小模型数学准确率暴涨6.8分
PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
👨💼 主理人解读 · 为什么值得关注
可用于RLVR训练中把稀疏奖励转为密集监督，开发者能借此筛选可复用的特权指导信号。
📖 AI 总结
本文提出PreSO方法，用于改进基于可验证奖励的强化学习中的在线自蒸馏。该方法的核心问题是：教师模型依赖的特权信息在推理时学生无法获取，因此需要判断哪些特权信息值得蒸馏。作者以跨问题重复出现作为可复用指导的经验线索，对比完整解答与简洁提示所引发的表征偏移，发现提示引发的偏移更集中、跨问题方向更一致，且能带来更持久的性能提升。基于此，PreSO在来源端用简洁提示限制解答细节进入特权偏移，在目标端从相关问题汇总的偏移中估计主导低秩子空间，将特权修正投影到该子空间并叠加到学生表征上，形成表征级蒸馏目标。在五个竞赛级数学基准上，PreSO在Qwen3-1.7B、4B、8B上均优于强基线，平均准确率较基座模型分别提升6.8、9.0和10.0分，且各规模下最终检查点平均成绩最佳，训练结束时提升仍然保持。
🔑 关键词速览
| On-policy self-distillation (OPSD) | 在线策略自蒸馏，一种让模型在自身生成的策略轨迹上，用自教师模型提供密集监督的训练方法。 |
| Reinforcement learning with verifiable rewards (RLVR) | 带可验证奖励的强化学习，利用可自动验证的奖励信号（如数学题答案对错）来训练模型。 |
| Privileged information | 特权信息，指训练时可用但推理时学生模型无法获得的信息，如完整解答或提示。 |
| Low-rank subspace | 低秩子空间，指由少量主要方向张成的表示空间，用于捕捉跨问题重复出现的结构。 |
| Representation-level distillation | 表示级蒸馏，在模型的内部表示层面进行知识迁移，而非仅在输出词元层面进行监督。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅