为稀疏激活神经网络提供紧密Rademacher复杂度界,消除维度因子。
| Rademacher bounds | 衡量函数类在随机噪声下拟合能力的复杂度度量,用于推导泛化误差界。 |
| input-dependent sparsity | 每个输入仅激活网络中的少数隐藏单元,而不同输入可能激活不同单元的现象。 |
| ReLU model | 使用修正线性单元作为激活函数的神经网络模型,常用于深度学习理论分析。 |
| support-preserving cover | 一种覆盖方法,保持函数支持集的结构,用于改进复杂度分析。 |
| minimax excess-risk bounds | 在最优估计器下,额外风险(相对于贝叶斯风险)的极小化最大值界,衡量学习算法的统计最优性。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅