草图牛顿法提速新突破，在线推断无需估协方差！
Inference for Newton Methods with Accelerated Sketch-and-Project via Random Scaling
📖 AI 总结
本文研究一种在线草图牛顿方法，该方法在每一步通过广义加速草图投影求解器（GAS）近似牛顿方向，以缓解经典二阶方法的计算瓶颈。GAS借助Nesterov动量更新实现加速收敛，并支持灵活投影度量以进一步降低计算成本。作者在此基础上证明了平均草图牛顿迭代的渐近正态性，刻画了其极限协方差矩阵：该协方差在特定加速参数下可退化为未加速方法的协方差，一般情形下以更快的草图步数收敛到极小极大最优协方差，且小于加速方法末次迭代的协方差。研究进一步建立了迭代的函数型中心极限定理，从而无需显式估计协方差，即可基于随机缩放构造枢轴检验统计量，实现渐近有效的在线推断。数值实验验证了所提推断程序的优越性能。
🔑 关键词速览
| 草图牛顿方法 | 一种利用随机草图技术近似牛顿方向以降低计算成本的二阶优化方法。 |
| 广义加速草图投影求解器 (GAS) | 一种通过Nesterov动量加速收敛并支持灵活投影度量的先进草图投影求解器。 |
| 渐近正态性 | 指当样本量或迭代次数趋于无穷时，估计量的分布收敛于正态分布的性质。 |
| 函数中心极限定理 | 将中心极限定理推广到函数空间，描述随机过程弱收敛到高斯过程的定理。 |
| 随机缩放 | 一种通过随机重缩放迭代序列来构造枢轴统计量，从而避免显式协方差估计的推断技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅