仅加两个惯性外推,样本复杂度从ε⁻⁴直接干到近最优ε⁻²!
Stochastic Inertial Krasnosel'skii-Mann Iteration Achieves Near-Optimal Sample Complexity
arXiv ML (stat.ML) #优化算法#随机迭代#样本复杂度 🕐 今天 12:00

📖 AI 总结

本文研究在实希尔伯特空间中求解非扩张算子不动点的随机惯性Krasnosel'skii-Mann(iKM)方法。作者在已有随机KM方法基础上引入两次惯性外推,每次迭代仅需调用一次可能有偏的随机 oracle,并在随机与确定性两种情形下均给出紧致收敛速率。其核心结果是末次迭代不动点残差上界为 O(1/K + σlogK/√K + B_KlogK/K),其中K为迭代步数,σ为噪声水平,B_K为累积均方根偏差。当B_K为O(√K)时,样本复杂度达到Õ(ε^{-2}),在对数因子范围内匹配无偏情形下的随机 oracle 下界,并优于此前随机KM已知的O(ε^{-4})随机迭代保证。这是首个无需方差缩减或批处理、单循环即可达到近最优样本复杂度的通用非扩张不动点方法;在精确 oracle 下,该方法还达到最坏情况最优的O(K^{-1})末次迭代残差率,改进了经典KM的O(K^{-1/2})结果。

🔑 关键词速览

Krasnosel'skii-Mann (KM) 方法一种用于寻找非扩张算子不动点的经典迭代算法,通过凸组合当前点和算子作用后的点来更新。
惯性外推 (Inertial Extrapolation)在迭代中引入动量项,利用前两次迭代的信息加速收敛的技术。
样本复杂度 (Sample Complexity)算法达到给定精度所需的随机oracle调用次数,衡量随机优化算法的效率。
最后迭代残差 (Last-Iterate Residual)算法最后一次迭代产生的点与不动点之间的残差,是衡量收敛性的一个指标。
非扩张算子 (Nonexpansive Operator)满足Lipschitz常数为1的算子,即对任意两点,算子作用后的距离不超过原距离。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅