预测准≠参数对！知识追踪模型预测再准也难还原项目参数，新方法SK(64,8)不增模型大小还能提升恢复一致性
Prediction Is Not Calibration: Item Parameter Recovery and Representation Coupling in Knowledge Tracing
📖 AI 总结
该研究探讨知识追踪（KT）模型中预测准确性与题目参数恢复之间的关系，指出仅以预测下一响应为目标训练的题目响应解码器，其预测精度并不能保证参数恢复质量。作者将2PL、GPCM和NRM三种解码器与LSTM、Transformer、DKVMN三种编码器配对，通过响应模型导数分析发现，区分度与选项斜率参数的更新直接依赖估计能力的尺度与分布范围；仿射logit恒等式则表明，能力估计中依赖题目的平移与重缩放会被吸收进题目参数而不改变响应概率。模拟实验显示，在打乱题目顺序条件下，难度、平均阈值和正确选项截距的恢复率较高，而区分度和关键选项斜率对比的恢复需要更宽的题目表示，且在固定题目顺序下进一步退化。将序列题目表示宽度与题目参数键宽度分离，采用宽键配窄序列表示（SK(64,8)），可在不牺牲测试精度、不增加模型规模的前提下减少固定顺序下的能力失真，提升参数恢复与跨顺序一致性。在TIMSS和EdNet数据集上，加宽参数键宽度能持续提升与离线IRT参考的一致性。研究结论是，题目参数尤其是区分度和选项斜率必须与响应预测分开评估。
🔑 关键词速览
| 知识追踪 (Knowledge Tracing) | 一种基于学生历史答题序列预测其未来表现的知识状态建模方法。 |
| 项目反应理论 (Item Response Theory, IRT) | 心理测量学框架，用项目参数（如难度、区分度）和学生能力刻画答题概率。 |
| 2PL/GPCM/NRM 解码器 | 三种项目反应模型：2PL用于二分反应，GPCM和NRM用于多分类反应，用于从知识追踪表示中估计项目参数。 |
| 参数恢复 (Parameter Recovery) | 评估模型估计的项目参数与真实生成参数之间一致性的过程。 |
| 表示耦合 (Representation Coupling) | 指序列项目表示宽度与项目参数键宽度之间的关联设计，影响参数估计的准确性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅