六个音素专家让口音识别零样本提升12.3%！
Mixture of Phonetic Experts Based Low-Rank Adaptation of Conformer Models for Accented English Speech Recognition
📖 AI 总结
本文提出MoPE-LoRA，一种面向带口音英语语音识别的参数高效适配框架。与现有按口音分配专家的混合专家方法不同，该研究依据口音差异常表现为音素实现系统性偏差这一观察，将适配组织在语音类别维度上。方法设置六个与发音方式类别对齐的固定低秩专家，并通过结合音素监督与学习式声学门控的混合机制进行帧级路由。由于专家集在各口音间共享，模型无需口音专用模块，可自然扩展至未见口音。在L2-ARCTIC上的实验显示，该方法稳定优于单一LoRA和全量微调；在训练中留出一种口音的零样本评测中，相对单一LoRA取得12.3%的相对提升。结果表明，基于语音类别的分解为口音级适配提供了一种可扩展且可迁移的替代方案。
🔑 关键词速览
| MoPE-LoRA | 基于音素专家的低秩适应，一种参数高效的带口音语音识别适应框架。 |
| Conformer | 一种结合卷积神经网络和Transformer的语音识别模型架构。 |
| Mixture of Experts | 混合专家模型，一种通过多个专家网络和门控机制进行条件计算的方法。 |
| Low-Rank Adaptation | 低秩适应，一种通过低秩分解进行参数高效微调的技术。 |
| Manner-of-Articulation | 发音方式，语音学中描述发音器官如何阻碍气流的分类方式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅