该论文研究潜在世界模型中的规划问题。作者指出,潜在表示中部分维度仅携带噪声,而训练中用于防止表示坍缩的正则化项(SIGReg)在推动潜在边际趋于标准高斯分布的同时,也为剔除这些噪声提供了结构。基于潜在序列服从高斯-马尔可夫过程的假设,状态转移可建模为线性映射,其协方差可由转移矩阵本身确定,从而无需额外代价即可获得各潜在方向的不确定性。进一步将转移矩阵约束为正规矩阵,可使特征基在多个时间步上保持稳定,并据此把规划所用的ℓ2代价限制在不确定性最小的k维子空间中。该修正为事后处理,编码器、预测器、推演与规划器均不改动,仅拟合一个受约束的矩阵。在六个环境上的实验显示,该方法在二维导航任务TwoRoom和PointMaze上提升显著,较原始ℓ2代价的成功率最高提升54.7个百分点。
| 潜在世界模型 (Latent World Model) | 一种在潜在空间中进行预测和规划的模型,智能体通过编码观测到潜在表示来模拟环境动态。 |
| SIGReg | 一种正则化方法,驱动潜在表示的边缘分布趋向标准高斯分布,以防止表示坍缩并促进方差。 |
| 高斯-马尔可夫过程 (Gauss-Markov Process) | 一种随机过程,其中未来状态仅依赖于当前状态,且转移是线性的、噪声为高斯分布。 |
| 正规矩阵 (Normal Matrix) | 满足 AA^T = A^T A 的矩阵,可被酉对角化,保证特征基在不同时间步上保持一致。 |
| ℓ2代价 (ℓ2 Cost) | 规划中常用的代价函数,计算预测终端潜在表示与目标潜在表示之间的欧几里得距离。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅