不扩参数，准确率反涨10.96个百分点！新模型把预训练残差变成连续动力算子
Dynamic System Inspired Continuous Large Language Model for AI4Science Tasks
📖 AI 总结
该研究针对科学基础模型处理连续现象时仍依赖离散残差计算的问题，提出Continuum-LM模型。其核心思路是复用预训练残差变换作为连续深度语言模型中的动力学算子，使隐藏状态通过常微分方程演化，并由高阶数值积分求解，计算量由求解器阶数和步长控制，从而在不扩展骨干网络的前提下增加潜在计算深度。在八项科学任务上，该模型训练稳定，在0.6B和1.7B规模下平均精确匹配准确率分别较离散对应模型提升7.77和10.96个百分点；在0.6B规模、参数与残差函数评估预算匹配的条件下，也优于Ouro式循环控制方法。研究结果表明，通过参数复用实现可扩展的计算深度是可行的，连续隐藏状态演化可作为科学语言模型超越参数扩展的一种实用设计维度。
🔑 关键词速览
| Continuum-LM | 一种连续深度语言模型，将预训练残差变换复用为动力算子，通过常微分方程演化隐藏状态。 |
| 连续深度语言模型 | 隐藏状态通过连续动力系统（如ODE）演化的语言模型，计算深度由数值积分控制。 |
| 常微分方程（ODE） | 描述隐藏状态连续演化的方程，通过数值积分求解以控制计算量。 |
| 高阶数值积分 | 用于求解ODE的数值方法，求解器阶数和步长决定计算精度与成本。 |
| 参数复用 | 在不增加模型参数的情况下，重复利用预训练残差变换来扩展计算深度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅