🔥 今日值得一读
智能体优化增益54%是过拟合！测试时扩展再占14%，真正泛化提升有限
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
📖 AI 总结
该论文提出Harness-Delta Attribution（HDA）评估协议，用于拆解智能体框架演化带来的性能增益。研究者在11个执行器模型和3个框架演化系统上，覆盖数学、编程、创造性和智能体任务进行测试。在21个搜索集增益统计显著的设置中，过拟合与测试时扩展平均分别解释54%和14%的增益，二者合计占比在14个设置中超过50%。剩余部分才构成可泛化改进的上界。研究发现，搜索集增益往往难以迁移到留出任务，验证信号也不足以防止过拟合。该工作提示未来框架演化研究应采用归因感知的评估方法。
🔑 关键词速览
| Harness Evolution | 自动优化智能体系统外围组件（提示、工具、编排代码）而不改变模型权重的演化方法。 |
| Harness-Delta Attribution (HDA) | 一种评估协议，将演化带来的性能增益分解为过拟合、测试时扩展和残差可泛化改进三部分。 |
| Test-time Scaling | 在推理阶段增加计算量（如更多采样或更长思考）以提升模型表现的技术。 |
| Overfitting | 模型或系统过度适应搜索集特定特征，导致在未见数据上泛化性能下降的现象。 |
| Held-out Transfer | 在搜索集上获得的改进迁移到未参与优化的留出任务上的能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅