本文提出 RLPE(Reinforcement Learned Prompt Engineering),一种用强化学习训练模型为其他任务模型撰写提示词的方法。与以往要么不观察任务模型行为、要么需在推理时与任务模型同步运行的做法不同,RLPE 让训练模型分析任务模型的执行轨迹,针对其暴露的失败模式生成提示,并仅以提示带来的任务表现为奖励信号。提示生成一次即可在整个任务中复用,推理阶段无需再调用训练模型,且只需查询访问,因而兼容闭源模型。作者在 Enigmata、BIG-Bench Extra Hard 和 PlanBench 三个基准上训练了一个 90 亿参数模型,其中三分之二基准上其提示质量超过 gpt-5.6-sol、claude-opus-5 等前沿模型以及 GEPA、TextGrad 等提示优化器;模型虽未被显式训练迭代提示,却自发涌现出与前沿模型相当甚至更强的迭代能力。该能力还具备泛化性,可提升比自身大六倍、甚至来自不同模型家族的任务模型,并在留出的第四个基准上追平 claude-opus-5。
| RLPE (Reinforcement Learned Prompt Engineering) | 本文提出的方法,用强化学习训练一个模型分析任务模型的执行轨迹,并针对其失败模式撰写提示。 |
| Prompt Engineering | 提示工程,指设计并优化输入提示以使大语言模型在特定任务上表现更好的实践。 |
| Task Model | 任务模型,指被提示所驱动、实际执行目标任务的大语言模型。 |
| Prompt Optimizer | 提示优化器,指自动迭代改进提示的算法或工具,如 GEPA 和 TextGrad。 |
| Generalization | 泛化,指模型在训练时未见过的任务模型、模型家族或基准上仍能保持有效表现的能力。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅