🔥 今日值得一读
元代理生成任务有坑！9B模型pass@2从81.3%暴跌至20.6%
When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge
👨💼 主理人解读 · 为什么值得关注
帮你排查终端Agent RL训练为何不涨点：基准无效、harness脆弱、奖励错位，附改进pipeline。
📖 AI 总结
这篇论文关注利用前沿模型作为元智能体生成终端任务与验证器以支持强化学习训练时存在的可靠性问题。作者指出，即便拥有可运行的Docker镜像和可执行的测试套件，也未必能保证终端智能体训练流程的端到端有效性，并据此归纳出三类失败：基准无效、测试框架脆弱以及奖励错配。实验显示，通过提示重设计和上下文扩展，基线可解性提升了5.6倍，但9B模型在Claude Opus生成的任务上，20步内平均pass@2即饱和于81.3%；而加入困难任务后，在训练配置不变的情况下，平均pass@2骤降至20.6%，表明可解性区间具有模型特异性。该研究的意义在于提出元智能体的可靠性需要将可解性区间校准、验证器审计和基础设施错误核算作为首要评估标准，而非事后诊断。
🔑 关键词速览
| 元代理 | 指使用一个高级AI模型（如Claude Opus）来生成任务和验证器，以训练其他AI代理的代理系统。 |
| 可解性区间 | 指模型能够成功解决的任务难度范围，通常与模型能力相关，是模型特定的。 |
| pass@2 | 一种评估指标，表示模型在两次尝试内成功完成任务的比例。 |
| 验证器审计 | 对用于评估任务完成情况的验证器进行检查和验证，以确保其准确性和可靠性。 |
| 奖励错位 | 指强化学习训练中，奖励函数与真实目标不一致，导致模型学习到错误的行为。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅