浅层网络估扩散分数，样本复杂度仅n的负(d+3)/(2d+3)次方！
Diffusion Score Estimation with Shallow Neural Networks: Regularity, Approximation, and Finite-Sample Rates
📖 AI 总结
该研究探讨了在d维空间中利用有限宽度浅层ReLU网络和去噪分数匹配（DSM）估计Ornstein-Uhlenbeck扩散分数的样本复杂度问题，并分析其对逆向过程采样的影响。在初始密度归一化导数满足弱可微性和多项式增长条件下，作者结合高斯转移核与初始密度的互补估计，得到各固定球上时间一致的显式Sobolev界，进而控制逼近误差并给出路径范数预算。利用截断和局部Rademacher复杂度，建立了无界输入与标签下路径范数约束经验DSM最小化的高概率风险界。在额外有界密度和次高斯假设下，适当选择网络宽度和路径范数预算可使固定时刻的平方L²分数风险达到Õ(n^{-(d+3)/(2d+3)})。将时间网格上的分数误差聚合后，得到生成分布与原始分布间总变差误差为Õ(n^{-(d+3)/(4d+6)})。该结果为扩散模型分数估计提供了非渐近理论保证，明确了样本量、维度和分布正则性对采样质量的定量影响。
🔑 关键词速览
| 去噪分数匹配 (DSM) | 一种通过训练网络预测加噪数据分数来估计数据分布分数的方法。 |
| Ornstein-Uhlenbeck 扩散 | 一种具有线性漂移和高斯噪声的随机微分方程，常用于生成模型中的前向过程。 |
| 浅层 ReLU 网络 | 仅包含一个隐藏层且激活函数为修正线性单元（ReLU）的神经网络。 |
| 路径范数 | 一种衡量神经网络复杂度的范数，与网络权重的乘积和相关。 |
| Rademacher 复杂度 | 一种衡量函数类复杂度的工具，常用于推导泛化误差界。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅