同一样本选特征隐藏成本被揭：ReLU深度表示选择差距首次精确量化！
Brownian Heads for Deep ReLU Representations: Activation Mass and the Cost of Same-Sample Selection
📖 AI 总结
这篇论文研究深度ReLU表示学习中一个常被忽视的问题：当隐藏特征的选择与最终预测器的拟合在同一批样本上完成时，事后固定特征的分析会遗漏选择本身的代价。作者针对加性或Lévy-Brownian RKHS中的有界范数预测器（称为Brownian heads），考察条件经验Rademacher复杂度。对固定表示，他们给出精确的对偶恒等式，并用激活质量（观测隐藏向量的平均范数）刻画紧界。在同一样本选择情形下，表示上确界诱导出二次Rademacher过程，借助Brownian layer-cake与高斯投影恒等式，将其约化为逐坐标或带符号投影的阈值迹，从而把已实现的尺度与选择复杂度分离开来。对输入两两不同的样本，显式标量ReLU族在已实现迹与包络层面以通用常数匹配有限迹率和VC率；诱导范数收缩还给出矩形、秩亏ReLU网络的架构级界。实验验证了这些紧界与速率，展示了固定激活质量下的选择差距，并评估了Brownian heads的预测可行性。该工作为理解同一样本选择带来的额外复杂度提供了理论工具。
🔑 关键词速览
| Rademacher复杂度 | 一种衡量函数类复杂度的指标，通过随机符号分配来评估模型拟合随机噪声的能力。 |
| ReLU表示 | 使用修正线性单元（ReLU）激活函数得到的深度神经网络隐藏层特征表示。 |
| 激活质量 | 观测到的隐藏向量的平均范数，用于刻画表示中激活值的整体规模。 |
| 同一样本选择 | 在相同的样本上同时进行特征选择和最终预测器拟合，可能导致选择偏差。 |
| Brownian头 | 在加性或Lévy-Brownian再生核希尔伯特空间（RKHS）中，接在深度ReLU表示后的有界范数预测器。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅