本文提出“表征课程”这一训练理念,主张在物理信息神经网络(PINNs)中显式地学习、独立迁移并逐步精炼表征,而非像标准训练那样在拟合最终解的过程中隐式形成表征。作者据此设计了分阶段深度训练(SDT):先训练一个浅层前缀网络并配以临时的物理信息头,随后丢弃该头、冻结已学前缀,再逐步增加网络深度,整个过程不引入方程特定的编码,也不改变最终部署架构。在PINNacle的20个默认正问题与三种骨干网络上,SDT在59个等预算问题—骨干组合中有40个误差至少降低5%,其余也保持在该范围内,PirateNet风格骨干的几何平均误差下降32.8%。消融实验表明,这一增益不能仅由优化器重启或浅层热启动解释。该工作为提升PINNs性能提供了在不增加推理成本前提下的新训练策略。
| PINNs | 物理信息神经网络,一种将物理方程作为约束融入神经网络训练的深度学习方法。 |
| Representation Curriculum | 表示课程,一种有序训练过程,显式学习表示并独立于预测器迁移和逐步精炼。 |
| Staged Depth Training (SDT) | 分阶段深度训练,通过训练浅层前缀、丢弃临时头、冻结前缀并增加深度来逐步构建网络的方法。 |
| PINNacle | 一个用于评估物理信息神经网络性能的基准测试套件,包含多个前向问题。 |
| Poisson-Boltzmann 2D | 二维泊松-玻尔兹曼方程,常用于模拟静电势分布等物理问题的偏微分方程。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅