不训练奖励模型，让策略自评调试轨迹，SWE-bench双双提升！
Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents
📖 AI 总结
本文提出一种名为“行为自奖励”（BSR）的奖励精炼方法，用于训练软件工程智能体。现有基于可验证奖励的强化学习虽能借助可执行测试提供可靠监督，但二元的通过/失败信号无法区分调试质量差异显著的轨迹。BSR 的核心思路是复用当前策略本身，对同一任务、同一验证结果下的多条轨迹进行两两比较，判断其可观察的调试行为优劣，再将成对偏好聚合为任务内局部评分，并转化为有界辅助奖励。该方法在保留验证器通过/失败排序的前提下引入奖励对比度，且无需额外训练奖励模型或进行新的环境交互。在 SWE-bench Verified 和 SWE-bench-Live 上，基于 Qwen3-14B 与 Qwen3-32B 的实验均取得一致提升，表明策略自身的比较判断可作为训练软件工程智能体的有效补充学习信号。
🔑 关键词速览
| RLVR | 基于可验证奖励的强化学习，利用可执行测试等可验证信号作为奖励来训练智能体。 |
| Behavioral Self-Rewarding (BSR) | 行为自奖励，一种复用当前策略对同一任务下轨迹的调试行为进行成对比较并生成辅助奖励的奖励精炼方法。 |
| SWE-bench Verified | 一个经过人工验证的软件工程基准测试集，用于评估智能体解决真实 GitHub 问题的能力。 |
| SWE-bench-Live | SWE-bench 的实时版本，包含持续更新的软件工程任务，用于评估智能体的泛化能力。 |
| Pairwise Preferences | 成对偏好，指策略对同一任务下两条轨迹进行两两比较后得出的相对优劣判断。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅