该研究聚焦于核范数最小化中的迭代重加权最小二乘(IRLS)方法,针对其收敛速率和权重算子的作用机制进行了理论突破。核心贡献在于提出了平滑核范数的紧致优化分析,证明调和平均权重算子构成有效的全局二次优化器,并在幂平均权重族中具有最优性,从而解释了其优于仅利用行或列空间信息的传统单侧加权方案的原因。研究在Schatten-1零空间性质下,证明了多种权重算子下IRLS算法的全局线性收敛性,并特别针对调和平均权重建立了与维度无关的局部线性收敛速率。通过反例表明,文献中常见的单侧权重算子无法普遍达到该维度无关的局部速率。数值实验验证了理论结果,展示了调和平均加权在方阵、矩形矩阵及对抗性初始化恢复问题中的实际优势。
| IRLS | 迭代重加权最小二乘,一种通过迭代调整权重来逼近稀疏或低秩解的优化算法。 |
| 核范数最小化 | 通过最小化矩阵奇异值之和来促进低秩结构的优化问题。 |
| 调和平均权重 | 一种权重算子,基于行和列空间信息的调和平均,用于改进IRLS的收敛性能。 |
| Schatten-1零空间性质 | 一种保证低秩恢复可行性的条件,涉及矩阵零空间上的范数约束。 |
| 支配分析 | 通过构造目标函数的上界函数来分析优化算法收敛性的数学工具。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅