少量专家判断变密集奖励，GRPO训练不再卡壳，Recall@3和MRR@3最高提升6%和6.7%！
Expert-Guided Rubrics as Dense Reward Signals for Reinforcement Learning in Non-Verifiable Domains
📖 AI 总结
该论文针对大语言模型在金融服务等不可验证领域作为自主智能体时的训练难题展开研究。这类任务中，查询改写与信息检索的质量需依赖稀缺的领域专家判断，且评价本身是分级的而非二元的，导致传统强化学习依赖的自动二元奖励难以适用。作者指出，在组相对策略优化（GRPO）下，稀疏奖励会使同组采样输出结果一致时失去有效学习信号，优化陷入停滞。为此，论文提出将少量固定的专家判断转化为稠密奖励，并与检索指标结合，构建兼容GRPO的混合训练信号。实验结果显示，与稀疏奖励基线相比，该方法在Recall@3上提升最高6%，在MRR@3上提升6.7%。其意义在于为缺乏可验证奖励信号的领域提供了一条低成本利用专家知识、稳定强化学习训练的可行路径。
🔑 关键词速览
| 非可验证领域 | 指任务结果难以自动验证正确性的领域，如金融服务，需要人工专家判断。 |
| 组相对策略优化 (GRPO) | 一种强化学习算法，通过比较组内样本的相对表现来优化策略，适用于稀疏奖励场景。 |
| 主题专家 (SME) | 在特定领域具有深厚专业知识的专家，其判断用于评估查询质量等主观任务。 |
| 密集奖励 | 为每个动作或中间步骤提供反馈的奖励信号，与稀疏奖励相对，能更有效地指导学习。 |
| Recall@3 和 MRR@3 | 检索评估指标：Recall@3指前3个结果中相关文档的召回率；MRR@3指前3个结果中第一个相关文档的排名倒数均值。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅