任务池越大性能反降？SSR框架破解悖论，200任务通过率飙至68.3%，验证执行省60%！
Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing
📖 AI 总结
该论文研究智能体框架演化中任务池规模与性能的关系。作者初步研究发现一个悖论式失败模式：现有方法在任务池扩大时性能反而下降，分析表明根源在于优化过程中的证据选择不佳，不同证据组合会导致显著不同的演化结果。为此，作者提出“连续规模竞速”（SSR）框架，在每轮演化中依据任务质量与覆盖度构建多样化证据组合，并在有限算力下高效竞速候选框架。在三个基准的六种配置上，SSR均取得最优结果：任务池从40增至200时，通过率由64.3%稳步升至68.3%，而基线方法全部下降；其竞速机制还能在减少60%验证执行的情况下识别接近最优的候选。该工作揭示了任务扩展中的证据选择问题，并给出了可扩展的演化优化方案。
🔑 关键词速览
| Agentic Harness Evolution | 通过任务执行经验迭代优化智能体指令、工具和控制流的框架演化方法。 |
| Successive Scale Racing (SSR) | 一种在每轮演化中自适应搜索最优证据组合并高效竞速候选框架的算法。 |
| Evidence Selection | 从任务执行经验中挑选用于优化智能体框架的证据组合的过程。 |
| Task Pool | 用于智能体框架演化的任务集合，其规模扩大可能影响性能。 |
| Pass Rate | 智能体在基准任务中成功完成任务的百分比，用于衡量性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅