深度别再堆层了！连续深度高斯过程让DGP越深越好优化
Continuous-depth Deep Gaussian Processes
📖 AI 总结
该论文针对深度高斯过程（DGP）随深度增加而优化困难的问题，提出将深度视为连续的潜在演化过程而非离散层堆叠。作者构建了以深度为索引、漂移函数由高斯过程先验驱动的随机微分方程框架，并给出两种实现：CDGP（直接对状态—深度漂移施加GP先验）和FlowDGP（采用流演化先验，以更低训练成本捕捉更丰富的深度依赖）。研究还分析了单样本DGP目标在重复层复合下的敏感性增长，指出残差DGP是一种有效的初步修正，但仍属有限离散构造，并为连续深度形式提供了路径敏感性分析。在合成数据、基准任务和大规模回归实验上，残差DGP优于普通DGP，CDGP与FlowDGP在所考察的各情形中整体表现更强。该工作将DGP的核心设计问题从网络参数化转向漂移族的先验选择，为深度贝叶斯模型提供了连续化的新思路。
🔑 关键词速览
| Deep Gaussian Processes (DGPs) | 深度高斯过程，一种多层堆叠的高斯过程贝叶斯模型，用于表达复杂函数先验。 |
| Stochastic Differential Equation (SDE) | 随机微分方程，描述系统状态随连续时间（或深度）随机演化的数学方程。 |
| Neural ODE | 神经常微分方程，用神经网络参数化连续深度或时间的微分方程模型。 |
| Flow-evolved prior | 流演化先验，通过归一化流等可逆变换演化得到的先验分布，用于捕获更丰富的深度依赖。 |
| Pathwise sensitivity analysis | 路径敏感性分析，研究模型输出沿随机路径对参数或初始条件的敏感程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅