原始-对偶学习竟现参数共振！约束估计失配是元凶，失配容忍度随带宽平方根增长却随步长比平方根崩溃
Parametric Resonance in Primal-Dual Learning for Slowly Non-Stationary Constrained MDPs
📖 AI 总结
该论文研究缓慢非平稳约束马尔可夫决策过程中原始-对偶学习的稳定性问题，在双时间尺度假设下分析非平稳性通过两条通道进入系统时的行为。研究发现：在约束水平振荡的加性通道中，对偶振荡饱和于由移动最优解设定的下限，并随时间尺度比线性放大；在约束敏感性振荡的参数通道中，相干调制本身不产生共振强迫，原始更新的阻尼调制与对偶更新的刚度调制相互抵消，不稳定性实际源于原始更新所用约束估计与对偶更新所用测量之间的失配，由此在系统自然频率两倍处引发参数共振。可容忍的失配随强迫带宽的平方根增长，随对偶与原始步长比值的平方根收缩。上述结论在活跃鞍点附近的切线性二次约化下成立，并推广至多约束情形。若两个更新共用同一估计，共振强迫消失，但会引入等于估计器偏差的稳态偏移。在拉格朗日软演员-评论家智能体中，乘子在其辨识线性回路预测的时间尺度比处锁定次谐波，相干代价评论家可抑制该锁定，比例项则主要通过乘子投影抑制大部分锁定。
🔑 关键词速览
| 原始-对偶方法 | 一种求解约束优化问题的迭代算法，同时更新原始变量和对偶变量。 |
| 约束马尔可夫决策过程 | 在标准马尔可夫决策过程基础上增加约束条件的强化学习框架。 |
| 参数共振 | 系统参数周期性变化引起的共振现象，可能导致不稳定。 |
| 双时间尺度 | 算法中两个变量以不同速率更新的假设，通常对偶变量更新更快。 |
| 软演员-评论家 | 一种基于最大熵强化学习的演员-评论家算法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅