反例反馈4轮解决90%任务！A-CEGIS让AI自我修正效率飙升，零样本仅17%
Counterexamples as Feedback for Agent Self-Correction
📖 AI 总结
该论文提出A-CEGIS框架，利用反例作为反馈信号，评估并提升智能体在多轮交互中的自我修正能力，聚焦于自然语言到正则表达式生成任务。研究发现，传统单轮代码生成指标低估了智能体在真实部署中的修复能力。在30个NL-RX-Turk任务上，使用诊断性反例反馈的智能体在四轮内解决了90%的任务，显著优于零样本生成的17%、通用自我修正的27%和仅错误反馈的23%。完整诊断运行中，所有隐藏任务最终被解决，平均成功时间为2.7轮，定向探测后稳健成功率达77%。结果表明，A-CEGIS不仅衡量智能体跨轮改进效率，还提供了超越原始保留用例的实用鲁棒性检查，为评估和增强智能体自我修正能力提供了新方法。
🔑 关键词速览
| A-CEGIS | 一个轻量级框架，利用反例作为反馈来评估和提升代理在多轮自然语言到正则表达式合成中的自我修正能力。 |
| counterexample feedback | 反例反馈，指使用具体的错误示例（如假阳性或假阴性）作为指导，帮助代理在后续轮次中修正输出。 |
| multi-turn refinement | 多轮细化，指代理在多次交互中逐步改进其生成结果的过程。 |
| full-match semantics | 全匹配语义，一种正则表达式匹配模式，要求整个输入字符串完全匹配正则表达式，而非部分匹配。 |
| NL-RX-Turk | 一个数据集，包含自然语言描述到正则表达式合成的任务，用于评估模型性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅