提示优化让深度研究代理引用奖励从0.702飙到0.781，跨主题迁移增益0.079，三个随机种子稳复现！
Reflective Prompt Optimization of a Deep-Research Agent: A Topic-Disjoint, Multi-Seed Protocol for Measuring Transferable Gains and Prompt-Level Overfitting
📖 AI 总结
本文研究反思式提示优化在多智能体深度研究代理中的应用，并针对事实性任务中提示优化可能将训练答案写入提示、导致分布内收益实为记忆而非可迁移行为的问题，提出了一套主题不相交、多种子、含验证器消融的评估协议。作者将反思式提示进化方法（GEPA）应用于该代理的两个系统提示，在训练、验证与测试之间完全不共享主题的条件下评估。结果显示，留出引用奖励从0.702提升至0.781，提升0.079，自举95%置信区间为[0.051, 0.107]，并在三个随机种子上复现（平均提升0.107）。尽管获胜提示中近半内容是记忆的答案键，但受控消融表明该内容即使对训练问题本身也不产生奖励，说明验证与留出之间的较大差距源于噪声评判下的小样本选择，而非记忆。进一步改变验证器发现，按维度分解的反馈是收益可迁移的因果要素，而将其压缩为单一标量奖励会使留出迁移变为负值。该收益在外族评判器下依然存在，且手写版本基本可复现。研究由此指出，可信的提示优化评估需要留出主题、多种子和验证器消融。
🔑 关键词速览
| Reflective Prompt Evolution (GEPA) | 一种通过反思性进化来优化提示的方法，旨在自动改进语言模型代理的提示。 |
| Deep-Research Agent | 一种多代理系统，专门用于执行深度研究任务，如信息检索和事实核查。 |
| Topic-Disjoint Split | 一种数据集划分方式，确保训练、验证和测试集之间没有主题重叠，以评估泛化能力。 |
| Held-Out Citation Reward | 在留出集上评估的引用奖励指标，用于衡量代理在未见数据上的表现。 |
| Verifier Ablation | 通过改变验证器（如反馈分解方式）来研究其对提示优化增益影响的实验方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅