📖 AI 总结

Perplexity与NVIDIA研究人员提出JOLT（联合在线学习与教学），一种用于语言模型后训练的新方法。其核心是让同一个模型同时扮演教师和学生两个角色：教师可获取特权信息（如已验证的答案），学生则不能，且教师本身也参与训练，以保证其反馈始终对学生可用。研究团队指出，此前的在线自蒸馏方法中，持有答案的教师可能采取学生无法跟随的捷径，导致师生分歧随训练扩大。JOLT在Qwen3系列及DeepSeek-V2-Lite等模型上测试，在MATH任务上以约6.5倍更少的训练token达到与GRPO相当的准确率；在AppWorld状态测试中，JOLT+通过率达72.09%，较GRPO的62.20%提升9.9个百分点。该工作为强化学习后训练提供了一种降低计算成本、缓解奖励稀疏问题的思路。