智能体做数据工程，AIME25成绩暴涨13.34%！
Agentic Data Engineering for LLMs: System Design and a Controlled Empirical Study
📖 AI 总结
本文提出面向大语言模型数据工程的智能体框架ADE，旨在让AI智能体借助实验反馈自主迭代数据工程策略，属于AI-for-AI研究范畴。研究在固定训练与评估协议下，围绕数学与代码数据选择、数学奖励设计、数学课程学习四项任务展开受控实验。结果显示，所选策略相较通用基线在AIME25 Pass@32上最高取得13.34%的绝对提升，在四个留出基准上平均提升5.85%。研究发现，循环内评分随实验推进持续改善，但留出轨迹表明后期循环内收益并不总能转化为泛化能力提升；在组织方式与反馈获取上，结合证据分析与累积发现效果更优。研究轨迹还揭示了早期发现如何影响后续策略修正与跨方向组合。该工作为智能体驱动的数据工程提供了系统设计与实证依据，同时提示需警惕循环内指标与真实泛化之间的偏差。
🔑 关键词速览
| Agentic Data Engineering (ADE) | 一种让智能体利用实验反馈自主开发、修正和组合数据工程策略的框架。 |
| AI-for-AI (AI4AI) | 利用人工智能技术来改进人工智能系统本身的研究范式。 |
| In-loop scores | 在实验循环内部用于选择策略的即时评估得分，反映当前实验的表现。 |
| Held-out benchmarks | 在训练和策略选择过程中未使用、用于最终评估模型泛化能力的基准数据集。 |
| Pass@32 | 一种评估指标，表示模型在32次尝试中至少有一次成功通过测试的比例。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅