🔥 今日值得一读
自评估强化学习让搜索智能体学会“心里有数”，性能飙升24.3%！
Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
👨💼 主理人解读 · 为什么值得关注
可训练搜索智能体判断已获取和缺失的信息，减少无效检索与幻觉，提升RAG多跳问答可靠性。
📖 AI 总结
该研究针对检索增强大语言模型在搜索过程中缺乏“搜索状态感知”的问题展开，即模型难以判断已获取哪些信息、还缺少什么，从而导致幻觉推理和过早终止搜索。作者提出自评估强化学习框架SARL，让模型在训练阶段学会识别自身搜索状态并据此优化搜索行为，测试阶段无需额外评估模块。其核心是双重奖励设计，既捕捉每次评估的纠错效果，又惩罚对评估的过度依赖，从而兼顾搜索轨迹的有效性与效率。实验显示，SARL相对最强基线取得24.3%的相对提升，在多跳推理和深度研究基准上分别平均提升35.9%和27.9%，并优于依赖辅助监督或多智能体协作的方法。此外，SARL在更长搜索跨度下仍保持训练稳定，而现有方法在该情形下性能持续退化，表明其能随任务复杂度增长维持收益。
🔑 关键词速览
| 搜索状态感知 | 模型识别已获取信息和缺失信息的能力，用于避免幻觉和过早终止搜索。 |
| 自评估强化学习 (SARL) | 一种强化学习框架，模型在训练中学习评估自身搜索状态并改进搜索行为，无需测试时额外评估。 |
| 双重奖励设计 | 同时奖励评估的纠正效果并惩罚过度依赖评估的奖励机制，以平衡搜索的有效性和效率。 |
| 多跳推理 | 需要整合多个信息片段进行逐步推理的任务类型，常用于评估搜索智能体的能力。 |
| 推理时脚手架 | 在模型推理阶段额外添加的辅助结构或模块，SARL无需此类脚手架即可运行。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅