HERO让代码生成pass@1暴涨7.6个点，测试时再提2.0！
HERO: Harnessing Evidence for Test-time Refinement and Prompt Optimization in Program Generation
📖 AI 总结
本文提出HERO方法，针对文本到SQL、文本到Python等程序生成任务中的LLM优化问题。现有方法依赖LLM反思器提出更新，虽能修复已发现的失败，却可能破坏原本正确的行为。HERO利用程序生成任务可执行验证的特性，将离线优化与测试时优化相结合：离线阶段从执行验证的成功与失败案例中学习可复用的提示更新，并在采纳前验证候选修改；测试时将生成的代码视为实例特定的优化框架，借助执行反馈进行精炼。在四个SQL、Cypher和Python基准测试中，HERO取得最佳离线性能，pass@1较初始提示提升7.6个百分点，测试时精炼再提升2.0个百分点，同时改善了执行效率。该工作为程序生成任务的提示与框架优化提供了可验证的新思路。
🔑 关键词速览
| Harness优化 | 指通过改进可复用的提示和脚手架来提升大语言模型性能的优化方法。 |
| 文本到SQL | 将自然语言问题转换为SQL查询语句的任务。 |
| 文本到Python | 将自然语言描述转换为Python代码的任务。 |
| pass@1 | 评估代码生成模型性能的指标，表示模型第一次尝试就生成正确代码的比例。 |
| 执行反馈 | 通过运行生成的代码并观察其执行结果（如成功或失败）来获取的反馈信息。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅