随机倾斜新方法：d维问题稳定残差仅需√(d/n)！
Random tilts to find stationary points in stochastic convex optimization
📖 AI 总结
本文研究随机凸优化及相关变分不等式问题中平稳点的求解。作者提出，在正则化经验风险最小化中引入随机倾斜扰动，可在d维问题、n个观测样本的条件下，将平稳性残差控制在√(d/n)量级。研究进一步给出互补性结论：通过构造量级为√(log d/n)的极小极大下界，证明一定的维度依赖性是必要的。这一结果与标准随机优化和经验风险最小化形成鲜明对比，揭示了在寻找平稳点这一目标下，问题难度本质上高于传统优化设定，为理解随机凸优化的统计极限提供了新的理论视角。
🔑 关键词速览
| 随机凸优化 | 目标函数为凸函数且带有随机性的优化问题，常见于机器学习与统计推断。 |
| 稳定点 | 梯度为零或满足变分不等式条件的点，是优化问题解的一阶必要条件。 |
| 变分不等式 | 一类包含优化、互补和均衡问题的统一框架，用于刻画稳定点条件。 |
| 正则化经验风险最小化 | 在经验风险最小化目标中加入正则项以控制模型复杂度、防止过拟合的方法。 |
| 随机倾斜扰动 | 对目标函数施加随机方向的线性扰动，用于改善稳定点估计的维度依赖性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅