样条KAN逼近阶与稳定性矛盾被破解,最优层预算精确解出炉
Stability-Constrained Approximation in Spline KANs: Exact Layer Balancing and Budget-Compatible Saturation
arXiv ML (stat.ML) 重要 #KAN#样条网络#稳定性#近似理论 🕐 09-17 12:00

📖 AI 总结

本文研究深度样条叠加网络在逐层 Lipschitz 预算约束下的逼近问题,核心围绕两个量展开:给定深度分解的因子化稳定性复杂度,以及离散化算子的预算兼容逼近复杂度。作者首先精确求解了固定非负包络矩阵链的有限深度对角平衡问题,证明最优均匀层预算等于矩阵乘积的无穷范数 L 次根,并可由显式单遍最小化器达到;该最优值可能远大于网络自身的 Lipschitz 常数,因为取包络会破坏符号抵消。其次,作者给出保持预算(允许可控松弛)的构造性样条离散化定理及显式网格阈值,并对精确保持预算的线性样条算子,在一阶与三阶导数范数同时约束下证明了预算兼容的极小极大下界。最后表明层误差在复合时未必抵消,深度 L 的稳定塔可实现累积误差的常数比例,说明误差随深度线性累积并非上界证明的假象。

🔑 关键词速览

Spline KANs样条Kolmogorov-Arnold网络,一种使用样条函数作为可学习激活函数的深度网络架构。
Lipschitz budget逐层Lipschitz常数预算,限制每层函数变化率的硬性约束。
factorisation stability complexity因子分解稳定性复杂度,衡量深度分解在复合过程中稳定性的量。
budget-compatible approximation complexity预算兼容逼近复杂度,在满足Lipschitz预算下离散化算子的逼近能力度量。
minimax lower bounds极小极大下界,在函数类上最优逼近误差的理论下界。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅