THEMES在教育和临床数据上碾压基线，CCHAL精准归因决策质量，课堂实测学习收益显著！
Offline Apprenticeship Learning for Human-Centric Environments
📖 AI 总结
该论文探讨了在智能辅导系统和临床医疗等以人为中心的环境中，如何通过离线学徒学习（Apprenticeship Learning）从专家示范中推断策略，避免与环境交互。研究围绕奖励建模和示范质量两大挑战展开：EM-EDM通过潜在奖励函数对示范聚类并生成针对性策略，THEMES则借助分层学习的奖励调节器将轨迹划分为时间连贯的子轨迹，在多个教育和临床数据集上优于基线和分层方法；HALIDE将连续质量信号融入分层策略归纳，支持混合质量数据的合理复用，CCHAL进一步通过贝叶斯信用分配和对比式逆强化学习将质量归因到单个决策，在多个临床电子健康记录和辅导系统数据集上表现更优。真实课堂评估显示，StuEDM在保持学生自主性的同时仅在与专家判断不一致时介入，学习增益显著优于专家基线，且预试调整后的后测成绩高于在更大语料上训练的CQL策略，干预频率不到后者一半。该研究确立了离线学徒学习作为以人为中心环境中实用、数据高效且伦理可行的范式。
🔑 关键词速览
| Apprenticeship Learning (AL) | 一种从专家示范中推断策略的逆强化学习方法，通过恢复奖励结构实现离线学习。 |
| EM-EDM | 一种通过潜在奖励函数聚类示范并归纳聚类特定策略的离线学徒学习框架。 |
| THEMES | 一种利用分层学习的奖励调节器将轨迹划分为时间连贯子轨迹的离线学徒学习框架。 |
| HALIDE | 一种将连续质量信号整合到分层策略归纳中的离线学徒学习框架，用于混合质量数据的重用。 |
| CCHAL | 一种通过贝叶斯信用分配和对比学习将示范质量归因于个体决策的离线学徒学习框架。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅