无限记忆也能预测！新方法靠预测状态突破维数灾难，收敛速度飙升
Generative sequence modeling for infinite memory processes via predictive states
📖 AI 总结
本文研究多变量随机过程的一步超前条件分布估计问题。现有方法通常依赖有限记忆、稀疏性或可加性等结构假设，难以适用于具有长程非线性交互的过程，而放弃这些假设又会因维数灾难导致非参数估计困难。作者提出一种基于过程预测状态的新估计方法，可处理具有无限范围记忆的过程。理论分析表明，当历史信息能够压缩为足以预测未来的低维充分统计量时，该估计量可实现快速收敛，估计问题的统计复杂度由预测状态空间的内在维度决定。作者进一步为基于深度神经网络的具体实现建立了理论保证，并通过实验验证了理论结果。该工作为无限记忆过程的生成式序列建模提供了新的理论框架与可行方法。
🔑 关键词速览
| 预测状态 | 指过程历史中足以预测未来的一类充分统计量，可视为对无限记忆的有限维压缩。 |
| 无限范围记忆 | 指过程的当前值依赖于全部历史，而非仅依赖于有限个过去时刻。 |
| 维数灾难 | 指随着变量维度增加，非参数估计所需样本量呈指数增长，导致估计困难。 |
| 内在维度 | 指数据或状态空间实际所在低维流形的维度，而非其名义上的高维表示维度。 |
| 深度神经网络估计器 | 使用深度神经网络作为函数逼近器来估计条件分布或相关统计量的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅