特征蒸馏反拖后腿？CAFE把CKA梯度锁进适配器，平均WER从8.55%降到8.02%！
CAFE: Confining Feature Distillation to Language-Routed Adapters for Compact Multilingual Automatic Speech Recognition
📖 AI 总结
该研究针对紧凑型多语言自动语音识别中的特征蒸馏问题展开分析，发现特征蒸馏并不总能对逻辑蒸馏形成增益。通过梯度分析，作者指出基于投影的特征损失梯度与任务梯度正交，而基于相似度的中心核对齐（CKA）损失梯度仅与任务梯度弱对齐。CKA虽能降低非英语语言的词错误率，却以牺牲数据丰富的英语为代价，且三种损失层面的改进方案均效果有限。进一步分析显示，CKA梯度与共享编码器中英语所用子空间的重叠度高达97.5%至99.5%。据此，作者提出CAFE方法，将CKA梯度限制在英语绕过的适配器中，从参数层面而非损失层面化解该权衡。在Open ASR排行榜上，CAFE将平均词错误率从8.55%降至8.02%，优于纯适配器容量控制方案，并使英语表现更稳定。该模型仅254M参数，在24种语言48个测试集上接近0.6B教师模型，并与更大模型具有竞争力。
🔑 关键词速览
| Feature Distillation | 特征蒸馏，一种知识蒸馏方法，通过让学生模型模仿教师模型的中间层特征来提升性能。 |
| Centered Kernel Alignment (CKA) | 中心核对齐，一种基于相似性的损失函数，用于衡量两个特征表示之间的相似度。 |
| Word Error Rate (WER) | 词错误率，自动语音识别中常用的评价指标，衡量识别结果与参考转录之间的差异。 |
| Adapters | 适配器，插入预训练模型中的小型可训练模块，用于高效微调而无需更新全部参数。 |
| Open ASR Leaderboard | Open ASR排行榜，一个公开的自动语音识别模型性能基准测试平台。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅