LLM符号回归新突破：L2G-SR用结构验证器登顶SOTA，数值拟合与方程准确率双杀！
L2G-SR: Learning to Guide LLM-based Symbolic Regression
📖 AI 总结
本文提出L2G-SR框架，用于改进基于大语言模型的符号回归。传统方法主要依赖数值误差指导搜索，但这种方式容易偏向数值拟合准确却结构错误的候选公式。为此，作者引入学习到的结构验证器，利用树编辑距离构建结构监督信号，并考虑交换律和等价表达形式。验证器先将数值观测与公式对齐，再学习评估候选公式与目标公式的结构相似度。在搜索阶段，目标公式被隐藏，验证器与数值误差共同参与父代选择，分析师依据验证器反馈和诊断工具提出修改，生成器再将其转化为精炼表达式。在LLM-SRBench上，该方法在多个模型和领域上取得数值拟合、方程级准确率和树编辑距离的最优表现，表明学习到的结构引导对基于大语言模型的符号回归具有重要价值。
🔑 关键词速览
| 符号回归 | 一种从数据中自动搜索数学表达式（方程）以揭示变量间关系的方法。 |
| 树编辑距离 (TED) | 一种衡量两棵语法树之间差异的度量，通过计算将一棵树转换为另一棵树所需的最少编辑操作数。 |
| 结构验证器 | 一个学习到的模型，用于评估候选方程与目标方程在结构上的相似性，以指导搜索过程。 |
| LLM-SRBench | 一个用于评估基于大语言模型的符号回归方法的基准测试集。 |
| 父代选择 | 在进化或搜索算法中，选择哪些候选解作为父代来生成下一代解的过程。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅