ReLU网络重复测量回归达最优收敛率！
Generalized Deep Regression for Repeated Measurements
📖 AI 总结
该研究探讨了如何利用ReLU深度神经网络，从具有重复二元、计数或连续响应的独立单元中估计边际回归函数。模型假设单元内的相关性由未观测的随机均值函数生成，并采用凸广义回归损失进行拟合。理论分析方面，作者通过分离条件测量变异与单元间变异，建立了oracle不等式，并证明在β-Hölder函数类上，当有n个单元、每单元m次测量时，ReLU网络可达到n^{-1}+(nm)^{-2β/(2β+d)}量级的积分均方误差（忽略对数因子）。研究还针对不等簇大小推导了加权oracle不等式，给出了复合光滑函数的收敛速率，并为逐点集成推断提供了投影中心极限定理，在显式渐近线性条件下证明了无穷小刀切法的一致性。模拟实验和真实数据案例验证了理论结果与实际应用价值。
🔑 关键词速览
| ReLU 深度神经网络 | 使用修正线性单元（ReLU）作为激活函数的深度神经网络，常用于回归和分类任务。 |
| oracle 不等式 | 一种理论工具，用于衡量估计器性能与最佳可能性能（oracle）之间的差距。 |
| 积分均方误差 | 回归函数估计的均方误差在输入空间上的积分，衡量整体估计精度。 |
| Hölder 类 | 一类光滑函数，其导数满足 Hölder 连续性条件，常用于非参数估计的收敛速率分析。 |
| 无穷小刀切法 | 一种用于估计统计量方差或偏差的重采样方法，通过微小扰动数据点来近似影响函数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅