分位数强化学习精度逼近理论极限，误差界几乎不可再降！
Near Minimax Rate for Quantile Distributional Reinforcement Learning
📖 AI 总结
该论文研究分位数分布式强化学习中的策略评估问题，即在给定策略下用分位数贝尔曼不动点近似回报分布，并考察其在不同分位数分辨率下的统计精度。作者在生成模型假设下，从经验马尔可夫决策过程构造分位数不动点估计量，建立了Wasserstein距离下的非渐近误差界。当奖励密度一致有下界时，得到同时适用于所有分辨率和所有Wasserstein阶数的根n高概率界；当奖励密度在支撑端点消失时，证明连续性与端点单调性足以在1≤p≤2时保持分辨率无关的速率，而对p>2给出带m^{1/2-1/p}系数的根n界及较慢的n^{-1/p}界，并得到分辨率无关的W∞一致性。作者进一步刻画了固定分辨率下的精确局部渐近极小极大风险，证明所提估计量达到该最优风险，并分析最优局部风险对分辨率的依赖：正则单状态情形下风险常数与分辨率无关，而端点消失的两状态情形在p>2时呈现m^{1/2-1/p}量级的增长。该工作为分位数分布式强化学习提供了接近极小极大最优的统计速率刻画。
🔑 关键词速览
| 分位数分布强化学习 | 一种强化学习方法，通过分位数来近似回报分布，而非仅估计期望回报。 |
| 分位数贝尔曼不动点 | 在分位数分布策略评估中，通过分位数贝尔曼算子迭代收敛得到的不动点，用于近似回报分布。 |
| Wasserstein 距离 | 一种衡量两个概率分布之间差异的距离度量，常用于分布强化学习中比较分布。 |
| 局部渐近极小极大风险 | 在局部渐近框架下，估计量的极小极大风险，用于刻画估计问题的最优精度。 |
| 生成模型 | 在强化学习中，一种可以采样状态转移和奖励的模型，常用于理论分析。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅