本文研究在实希尔伯特空间中求解非扩张算子不动点的随机惯性Krasnosel'skii-Mann(iKM)方法。作者在已有随机KM方法基础上引入两次惯性外推,每次迭代仅需调用一次可能有偏的随机 oracle,并在随机与确定性两种情形下均给出紧致收敛速率。其核心结果是末次迭代不动点残差上界为 O(1/K + σlogK/√K + B_KlogK/K),其中K为迭代步数,σ为噪声水平,B_K为累积均方根偏差。当B_K为O(√K)时,样本复杂度达到Õ(ε^{-2}),在对数因子范围内匹配无偏情形下的随机 oracle 下界,并优于此前随机KM已知的O(ε^{-4})随机迭代保证。这是首个无需方差缩减或批处理、单循环即可达到近最优样本复杂度的通用非扩张不动点方法;在精确 oracle 下,该方法还达到最坏情况最优的O(K^{-1})末次迭代残差率,改进了经典KM的O(K^{-1/2})结果。
| Krasnosel'skii-Mann (KM) 方法 | 一种用于寻找非扩张算子不动点的经典迭代算法,通过凸组合当前点和算子作用后的点来更新。 |
| 惯性外推 (Inertial Extrapolation) | 在迭代中引入动量项,利用前两次迭代的信息加速收敛的技术。 |
| 样本复杂度 (Sample Complexity) | 算法达到给定精度所需的随机oracle调用次数,衡量随机优化算法的效率。 |
| 最后迭代残差 (Last-Iterate Residual) | 算法最后一次迭代产生的点与不动点之间的残差,是衡量收敛性的一个指标。 |
| 非扩张算子 (Nonexpansive Operator) | 满足Lipschitz常数为1的算子,即对任意两点,算子作用后的距离不超过原距离。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅