LLM进化算法T-GADE：中位训练超额直降29%！
T-GADE: Thermodynamical Generative-AI-Driven Evolution of LLM Artifacts
📖 AI 总结
本文提出T-GADE方法，将热力学遗传算法扩展至大语言模型生成的结构化产物（如描述与代码配对）的进化过程，通过基于LLM的遗传算子和产物级多样性评估，实现对种群多样性与生成能力的双重控制。该方法以统一的自由能目标支持世代更新与稳态更新，并引入费米型占据（排除重复基因型）与玻色型占据（允许重复）两种机制，同时给出了精确的单成员移除规则及恢复EoH零温生存规则的条件。在EoH论文所用的在线装箱任务上，T=0.003时的世代玻色型T-GADE将训练超额中位数从1.152%降至0.815%，降幅约29%（20次运行，双侧Mann-Whitney p=0.042，Cliff's δ=0.378）；在其两个最高排名最终候选者中进行验证选择，迁移超额中位数与EoH持平，均为0.496%。结果表明热力学选择机制及基于验证的保留产物利用具有实际效用。
🔑 关键词速览
| T-GADE | 热力学生成式AI驱动的LLM制品进化方法，结合热力学遗传算法与LLM遗传算子。 |
| 结构化制品 | LLM输出的具有明确结构的内容，如描述与代码配对，简称制品。 |
| 热力学遗传算法 | 一种基于自由能原理的进化算法，通过费米型或玻色型占据控制种群多样性。 |
| 在线装箱任务 | 一种组合优化问题，物品需在线放入容量固定的箱子中，目标是最小化箱数。 |
| 超额 | 相对于体积下界的箱数开销，用于衡量装箱算法的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅