该研究针对编码器—解码器算子学习提出了一套与分辨率无关的理论分析框架。作者指出,算子学习虽定义在函数空间上,但训练数据通常仅以有限维表示给出;在编码器—解码器架构中,编码空间上的矩阵值核会在原函数空间上诱导出算子值核,且对应的再生核希尔伯特空间等距同构。随着输入输出分辨率提高,诱导核在积分算子算子范数意义下收敛到极限核,从而使正则性假设可独立于编码分辨率表述。对于正则化随机梯度下降,作者给出了递减与固定步长下的上界,将编码项与正则化项同阶为t的负θ次方、优化项同阶为T的负θ′次方的项分离,并证明这些编码诱导项一般不可消除。分析进一步通过极限神经正切核推广到编码器—解码器神经网络,得到含有限宽度项的误差界,以及在编码误差代数衰减时的多项式参数与样本复杂度保证。该框架涵盖径向核与点积核构造的矩阵值核、宽编码器—解码器网络的NTK,以及基于傅里叶、勒让德多项式、小波、PCA或逐点采样的编码器—解码器对。
| 算子学习 | 学习从函数空间到函数空间的映射(算子)的机器学习方法。 |
| 编码器-解码器架构 | 一种将输入编码为有限维表示再解码回输出空间的神经网络结构。 |
| 极限核 | 当编码分辨率趋于无穷时,诱导核收敛到的算子值核。 |
| 神经正切核(NTK) | 描述无限宽神经网络训练动态的核函数,用于理论分析。 |
| 再生核希尔伯特空间 | 由核函数生成的希尔伯特空间,具有再生性质,常用于核方法。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅