📖 AI 总结

本文研究 dropout 神经网络的逼近性质，指出通用逼近定理本身无法刻画获得精确随机实现所需的网络规模。作者以 ReLU 网络逼近 Sobolev 空间单位球，其中每条边以概率 p 独立保留，误差在输入域上一致度量，并以至少 1−δ 的概率对单个采样网络成立。主要结果为：构造出常数深度、规模为 Õ(p⁻⁹ε^(−max{d/n,2})log(1/δ)) 的网络；同时利用 Sobolev 容量给出存活边数的下界，并证明逼近固定仿射函数时输出层需付出约 ((1−p)/p)ε⁻²log(1/δ) 的代价。在固定 p 与 δ 下，上下界在精度指数上匹配，并在 d≤2n 时置信度也匹配至对数因子。该工作首次为 dropout 网络建立了带置信度的 Sobolev 型逼近速率，明确了网络规模、保留概率与精度、置信度之间的定量权衡，并将下界推广至 W^{n,r} 目标与 L^s 误差。最优保留依赖与对数因子仍待解决。

🔑 关键词速览