关系蒸馏太慢？RAPID用256预算让BERT瘦身，准确率冲到94.24%！
RAPID: Reliability-Aware Pair Importance Distillation
📖 AI 总结
本文介绍了一种名为RAPID（可靠性感知的样本对重要性蒸馏）的新方法，用于改进知识蒸馏中的样本间关系迁移效率。传统方法需计算小批量内所有样本对，复杂度随批量大小呈二次增长，而均匀子采样又无法高效利用有限的关系预算。RAPID将可靠性门控的关系目标与自适应的样本对提议分离：可靠性机制决定哪些教师关系应被重点学习，而基于校准的教师熵和分离的学生-教师残差来决定评估哪些关系，并通过精确的逆提议校正保证估计的无偏性。实验在AG News（BERT到DistilBERT）和SST-2（DistilBERT到DistilBERT）两个文本分类任务上进行，结果显示可靠性门控的关系蒸馏在两个数据集上均取得最高平均准确率（94.285%和88.800%），RAPID次之，但均优于交叉熵基线。研究支持目标可靠性与评估优先级是可分离的设计维度这一模块化观点。
🔑 关键词速览
| RAPID | 可靠性感知的样本对重要性蒸馏，一种通过门控目标与自适应提议分离来优化关系蒸馏的方法。 |
| Reliability gated relational distillation | 可靠性门控的关系蒸馏，强调基于教师可靠性的关系子集进行知识迁移。 |
| Pair importance | 样本对重要性，指在关系蒸馏中评估样本对关系的优先级或权重。 |
| Inverse proposal correction | 逆提议校正，一种统计技术，用于确保基于提议分布的估计器无偏。 |
| Relation budget | 关系预算，指在蒸馏过程中允许评估的样本对关系的数量上限。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅