稀疏激活神经网络Rademacher界终于紧致了!消除维度因子,复杂度仅剩O(kWR/√m)
Nearly Tight Rademacher Bounds for Sparsely Activated Neural Networks
arXiv LG (cs.LG) 重要 #泛化理论#稀疏网络#复杂度分析 🕐 09-08 12:00

📖 摘要

为稀疏激活神经网络提供紧密Rademacher复杂度界,消除维度因子。

🔑 关键词速览

Rademacher bounds衡量函数类在随机噪声下拟合能力的复杂度度量,用于推导泛化误差界。
input-dependent sparsity每个输入仅激活网络中的少数隐藏单元,而不同输入可能激活不同单元的现象。
ReLU model使用修正线性单元作为激活函数的神经网络模型,常用于深度学习理论分析。
support-preserving cover一种覆盖方法,保持函数支持集的结构,用于改进复杂度分析。
minimax excess-risk bounds在最优估计器下,额外风险(相对于贝叶斯风险)的极小化最大值界,衡量学习算法的统计最优性。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅