自然梯度下降竟低效至此！维度升高时开销以√log d无界增长
How Inefficient Is Natural Gradient Descent? From Exact Optimality to \Theta ( \sqrt{ \log d } ) Divergence
📖 AI 总结
该研究探讨了自然梯度下降（NGD）在双平坦分布族中的效率问题。作者以“低效比”R 为度量，即混合测地线的 Fisher 长度与 Fisher-Rao 最短距离之比，刻画其关于参数维度 d 的上确界。核心发现将分布族分为三类：第一类具有二次势函数或维度为一（如固定协方差高斯分布），R 恒等于 1，即 NGD 精确最优；第二类在有限三阶偏度与有限 Fisher-Rao 直径条件下，R 有与维度无关的上界；第三类为尺度族的乘积（如高斯协方差与 Gamma 速率），R 随维度以 Θ(√log d) 增长且无界。在每步 Fisher 弦预算下，R 直接对应计算代价：NGD 所需步数至少是沿 Fisher-Rao 测地线优化器的 R 倍。实验验证了三种情形，其中高维长距离移动时 R 可达约 1.5。该结果量化了 NGD 相对理想几何优化的固有低效程度。
🔑 关键词速览
| 自然梯度下降 (NGD) | 一种利用Fisher信息矩阵调整梯度的优化方法，在机器学习中常用于加速收敛。 |
| Fisher-Rao距离 | 统计流形上两个概率分布之间的测地距离，由Fisher信息矩阵诱导。 |
| 混合测地线 | 在对偶平坦族中，连接两个分布的路径，通常比Fisher-Rao测地线更长。 |
| 低效比 (R) | 混合测地线的Fisher长度与Fisher-Rao距离的比值，衡量自然梯度下降的路径低效程度。 |
| 尺度族 | 一类概率分布，其参数控制分布的尺度，如高斯分布的协方差或Gamma分布的速率参数。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅