📖 AI 总结

本文针对非马尔可夫环境下的行为克隆难题，提出了一种名为“关键帧记忆法”的自监督方法。现有策略架构依赖循环或注意力机制捕捉长程依赖，但前者面临隐藏状态崩溃与梯度不稳定问题，后者受限于上下文长度。该方法通过从随机采样的历史观测中学习目标函数，将其作为关键帧选择的奖励信号，自动发现信息关键观测（即“记忆点”），并训练以这些关键帧为条件的克隆策略来建模动作分布。在特定任务结构假设下，该形式化方法能在无限时间跨度上提供上下文保持保证，同时将决策相关关键帧维持在较小规模。实验表明，在合成记忆任务中策略成功率达100%，且能泛化至远超训练时域的数量级而不出现性能退化；在记忆密集型机器人操作基准的23项任务中，平均绝对成功率较最强基线提升13.9%，并在真实机器人上于20倍更长时域下仍保持80%的成功率。

🔑 关键词速览