🔥 今日值得一读
大模型不再过度思考！Rouge让简单题秒答、难题深推理，准确率效率双赢
Route-and-Generate: KL-Regularized Router Improvement for Reasoning Routing in LLMs
📖 AI 总结
该论文针对大语言模型在推理时"一刀切"的问题——对简单任务过度思考、对困难任务思考不足——提出Route-and-Generate（Rouge）分层训练框架，使模型能够根据输入自适应决定是否需要推理以及推理的深度。方法上将推理资源分配与答案生成解耦：引入路由策略，在多种推理格式间分配固定采样预算，基础模型用GRPO和逐样本奖励优化，并采用基于排名的奖励偏好更短的正确答案；路由策略则通过闭式KL正则化策略改进步骤更新，并蒸馏进神经路由器。该设计使简单问题得到简洁回答、难题保留较长推理，在多个推理基准上实现了更优的准确率与效率权衡。
🔑 关键词速览
| Route-and-Generate (Rouge) | 一种分层训练框架，使LLM能自适应决定每个输入的推理需求。 |
| GRPO | 一种基于每个样本奖励的强化学习优化方法，用于微调基础模型。 |
| KL-regularized policy improvement | 一种带KL正则化的策略改进方法，通过闭式解更新路由策略。 |
| neural router | 一个神经网络模型，用于学习并执行路由策略，分配推理预算。 |
| rank-based reward | 一种基于排名的奖励机制，偏好更短的正确答案以促进高效推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅