LLM程序搜索新突破：六任务中位数分数代代涨，CartPole首代即封顶！
EliteTable: Self-Improving Program Search for Executable Control Policies
📖 AI 总结
EliteTable是一种由大语言模型引导的自改进程序搜索算法，其核心机制是维护一个固定容量的高分方案表，用以指导新方案的生成、已有方案的编辑以及多方案的重组。研究在六个Gymnasium控制任务上进行了评估，每个任务运行十代、每代五十个候选方案，并独立初始化搜索十次。结果显示，六个任务的候选分数中位数均从第一代到最终代有所上升，五个任务中最终入选方案的搜索分数中位数上升；在CartPole-v1中，入选方案在全部十次搜索的第一代即达到搜索分数上限。在留出端点评估中，六个任务里有四个的全部十组配对端点均得到改善；BipedalWalker-v3和CarRacing-v3有所提升但未达到报告目标；Acrobot-v1则有六次搜索在留出回合上出现下降，配对变化中位数为负。该研究记录了程序搜索过程中的性能提升，以及部分任务中入选方案增益向新回合的迁移，但作者指出仍需通过对比与消融实验来确定EliteTable的相对性能及各组件的贡献。
🔑 关键词速览
| EliteTable | 一种由大语言模型引导的自改进程序搜索算法，使用固定容量的高分解决方案表来指导搜索。 |
| Gymnasium | 一个用于开发和比较强化学习算法的标准 API 和基准测试环境集合。 |
| CartPole-v1 | Gymnasium 中的一个经典控制任务，目标是通过左右移动小车来平衡杆子。 |
| BipedalWalker-v3 | Gymnasium 中的一个连续控制任务，模拟双足机器人行走。 |
| Acrobot-v1 | Gymnasium 中的一个欠驱动控制任务，目标是通过施加扭矩使双连杆摆杆摆动到指定高度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅