🔥 今日值得一读
Transformer十秒生成公式，外推能力碾压搜索法，快出百倍！
Synthesizing Physics Formulae with Transformers
👨💼 主理人解读 · 为什么值得关注
可用于从实验数据自动发现物理公式，比搜索法快且外推更好，适合科学计算场景。
📖 AI 总结
本文研究如何利用Transformer模型从输入输出数据中自动合成物理公式，即符号回归任务。传统搜索方法直接探索公式空间，而基于合成数据预训练的Transformer能更快生成质量相当的公式，但存在过拟合问题——生成的公式在训练数据上拟合良好，却无法外推到未见过的输入范围。作者通过调整训练Transformer所用的公式集合，使合成公式的外推能力显著提升；进一步在目标值含噪声的数据上微调模型，增强了公式对观测噪声的鲁棒性。在SRBench和LLM-SRBench基准上，该模型约十秒即可合成一个公式，在同等预算下外推表现优于所有对比方法；搜索类方法需多出一到三个数量级的时间才能超越其精度。
🔑 关键词速览
| 符号回归 | 一种从数据中自动发现数学公式的方法，旨在找到能拟合输入输出关系的紧凑表达式。 |
| Transformer | 一种基于自注意力机制的神经网络架构，常用于序列建模和生成任务。 |
| 过拟合 | 模型在训练数据上表现很好，但在新数据上表现差的现象，即未能学到泛化规律。 |
| 外推 | 模型对训练数据范围之外的输入进行预测的能力。 |
| SRBench | 一个用于评估符号回归方法的基准测试平台，包含多种数据集和评价指标。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅