无需调参也能跑出最优速率！新算法在未知重尾噪声下自动适配任意区间，性能直逼全时域最优。
Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise
📖 AI 总结
本文研究重尾噪声下的在线凸优化问题，每轮仅可获取一个无偏随机次梯度，且条件p阶噪声矩（1<p≤2）未知。作者提出一种无参数学习算法，在任意长度为n的固定区间I及比较器路径上，实现了区间动态遗憾的显式上界，该上界同时包含均值梯度项与噪声项，并保持二者各自不同的指数。算法的关键特性在于无需预先知道梯度上界、噪声尺度、p值、区间位置及路径复杂度等参数，且常数具有普适性。分析通过控制期望校准误差并限制观测尺度变化的代价，将区间自适应代价纳入比较器复杂度。其一般性定理与基于相对熵的非均匀先验专家分布相比较，常用先验倾向于长窗口与长重启长度，使区间代价降至1+log(T/n)，并涵盖最优的全时域静态速率。作者还通过测度变换下界，在显式条件下刻画了保持全时域最优保证的学习者所对应的对数噪声幂次。静态比较与确定性划分可由同一决策框架推出。
🔑 关键词速览
| 在线凸优化 | 一种在线学习框架，学习器每轮选择决策并观察凸损失函数的次梯度，目标是最小化累积遗憾。 |
| 重尾噪声 | 指随机噪声的分布具有有限 p 阶矩（1<p≤2），但可能不存在二阶矩，导致比高斯噪声更重的尾部。 |
| 区间动态遗憾 | 衡量学习器在任意时间区间内相对于最佳比较器序列的累积损失差异，允许比较器路径动态变化。 |
| 无参数 | 指学习算法不需要预先知道问题的参数（如梯度范数上界、噪声尺度、矩阶数等），具有自适应能力。 |
| 相对熵 | 又称 Kullback-Leibler 散度，用于衡量两个概率分布之间的差异，在专家建议框架中常作为先验分布的复杂度度量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅