ICRL实测竟不满足贝叶斯后验采样！两大必要条件全被违反
Is In-Context Reinforcement Learning A Posterior Sampler? An Empirical Study
📖 AI 总结
该研究探讨上下文强化学习（ICRL）在实践中是否真正表现为贝叶斯后验采样器。作者以决策预训练Transformer（DPT）及其变体为对象，提出贝叶斯后验采样器必须满足的两个必要条件——充分统计量不变性与鞅性质，并据此构建统计假设检验。在高斯、伯努利和线性赌博机环境中进行的实验显示，实际训练的ICRL模型持续违反这两项条件，表明其行为可能并不符合贝叶斯后验采样。这一否定性结果挑战了DPT理论保证在现实中的适用性，同时提供了检验ICRL贝叶斯行为的系统性工具，对理解和评估ICRL的理论基础具有参考价值。
🔑 关键词速览
| In-context reinforcement learning (ICRL) | 利用大语言模型的上下文学习能力，在推理时无需参数更新即可适应新任务的强化学习方法。 |
| Decision-Pretrained Transformer (DPT) | 一种经过决策预训练的Transformer模型，理论上在理想条件下可执行贝叶斯后验采样。 |
| Bayesian posterior sampler | 能够从给定数据后的参数后验分布中生成样本的算法或模型。 |
| Sufficient-statistic invariance | 贝叶斯后验采样器应满足的性质：后验分布仅通过充分统计量依赖于数据。 |
| Martingale property | 贝叶斯后验采样器应满足的性质：后验预测的期望等于当前后验预测，即预测不会系统性地偏离。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅