训练样本直接推全流程风险曲线！误差压缩到(n-1)⁻²，两层网络宽度一致稳赢
Estimating Population-Risk Curves Along Nonconvex Gradient Flows from the Training Sample
📖 AI 总结
该研究提出了一种从训练样本估计非凸梯度流条件总体风险曲线的方法，称为Flow-ALO（流近似留一法）。该方法通过传播删除响应并在近似删除路径上评估遗漏观测值，将风险曲线误差分解为响应近似、精确留一波动和删除到全量风险转移三个部分。在固定有限时域内，借助有界中心化训练损失梯度、单侧Hessian下界、局部Lipschitz Hessian及严格管闭条件，研究获得了删除响应误差的显式(n-1)^{-2}界。有界评估损失梯度使该界可转移至评分，无需Hessian可逆。通过一阶刀切消去和精确留一浓度控制，分别处理风险转移和波动，最终恢复条件总体风险曲线。对于训练双层的平滑两层平均场网络，评分误差界在宽度上具有一致性。该工作为理解非凸优化中模型泛化行为提供了理论工具。
🔑 关键词速览
| Flow-ALO | 流近似留一法，一种通过传播删除响应来近似计算留一交叉验证误差的方法。 |
| population-risk curve | 总体风险曲线，描述模型在不同训练状态下的期望损失随迭代或参数变化的曲线。 |
| nonconvex gradient flow | 非凸梯度流，指在非凸损失函数上沿梯度下降方向演化的连续时间轨迹。 |
| leave-one-out (LOO) | 留一法，一种交叉验证方法，每次剔除一个样本进行验证。 |
| jackknife | 刀切法，一种通过依次删除观测值来估计统计量偏差和方差的重采样技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅