🔥 今日值得一读
SGD收敛边界不再保守，新配方让随时停止更精准！
A general recipe for data-adaptive anytime-valid envelopes for iterative algorithms
👨💼 主理人解读 · 为什么值得关注
需要按数据决定何时停止迭代训练时，可用该配方构造有效边界，避免过保守早停。
📖 AI 总结
该论文针对迭代随机算法的收敛性分析提出通用构造方法。传统收敛保证通常固定在特定迭代次数，无法支持基于数据的提前停止；已有的任意时间有效包络要么过于保守，要么需针对具体算法和噪声模型逐一推导。作者发现，许多算法的性能度量满足一步递归，从而将误差分析归结为对可预测加权噪声和的时间一致集中问题，并用强适应次ψ条件加以形式化。基于连续与离散混合、拼接及乘积下注鞅，论文给出可直接使用的边界构造，可与独立的算法分析耦合，适用于随机梯度下降、时序差分学习和Bures-Wasserstein SGD等场景。在SGD情形下，该框架复现或显著改进了现有包络，并附有实现细节与数值实验。
🔑 关键词速览
| 随时有效包络 (anytime-valid envelopes) | 一种在任意数据依赖的停止时间下仍能保持统计有效性（如置信覆盖）的误差边界。 |
| 数据自适应边界 (data-adaptive boundaries) | 根据观测数据动态调整的边界，相比确定性边界更不保守，适用于实际停止规则。 |
| 一步递归 (one-step recursion) | 描述算法性能度量在相邻迭代间关系的递归式，将误差分析归结为噪声和的集中不等式。 |
| 强适应次ψ条件 (strongly adapted sub-ψ condition) | 一种对可预测加权噪声和施加的时间一致集中条件，用于形式化随时有效性的要求。 |
| 乘积下注鞅 (product betting martingales) | 通过构造下注策略形成的鞅过程，用于推导随时有效的边界构造。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅