学习竟能重新发现闭式对角正则化器
Why Learning Rediscovers the Closed-Form Diagonal Regularizer
📖 AI 总结
这篇论文研究模态逆问题中的对角正则化现象，提出了“对角饱和原理”。作者发现，当截断噪声为各向同性时，贝叶斯最优的Tikhonov正则化形状是一个由先验单独决定的闭式幂律，与具体应用领域无关。这一结论依赖两个理论工具：Berry随机波猜想使截断噪声在各模态间去相关，Weyl特征值计数定律则保证模态数量足够多，使结论在Berry猜想出现经验偏差时依然成立。二者共同预测，逐模态正则化族上的损失景观近似平坦，因此对角正则化器很难稳定超越闭式解。在有限元模拟的声学房间实验中，闭式解相对于逐房间的oracle调参接近最优，三种对角架构在相同数据上训练后，重建误差与闭式解的差距在1个百分点以内，尽管它们学到的谱形态差异明显。该框架还可通过已知的指数格林函数修正扩展到热扩散问题，且不引入新的自由参数。作者强调，饱和现象仅限于对角正则化族；学习型迭代岭回归通过利用跨模态耦合突破了这一边界，从而定位了学习真正开始发挥作用的临界点。
🔑 关键词速览
| 对角饱和原理 | 指在模态逆问题中，当截断噪声各向同性时，对角正则化器的最优形状由先验闭式决定，学习难以超越。 |
| Tikhonov正则化 | 一种通过添加惩罚项来稳定逆问题求解的经典正则化方法，其形状参数影响解的平滑程度。 |
| Berry随机波猜想 | 关于量子混沌系统中波函数统计特性的猜想，此处用于说明截断噪声在模态间的去相关性质。 |
| Weyl特征值计数定律 | 描述特征值渐近分布的定律，指出高频模态数量随频率增长，为模态方法提供足够多的自由度。 |
| 学习迭代岭 | 一种展开迭代岭回归的神经网络架构，通过跨模态耦合突破对角族的限制，展示学习优势。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅