先想后写:ASR新框架让热词识别更准更稳!
Think Before You Transcribe: Context-Steered Reasoning for Hotword-Aware Speech Recognition
arXiv CL (cs.CL) 重要 论文方法多模态 🕐 10-21 12:00

📖 AI 总结

该研究针对上下文自动语音识别中候选热词可能不完整或不准确的问题,提出一种上下文引导的推理框架:在正式转写前先生成一段简短的、基于音频的caption,使模型能够在做出词汇决策前评估候选热词的相关性,从而在利用有效候选的同时避免无依据的候选覆盖声学证据。方法上通过监督微调建立结构化的“caption到转写”行为,并采用定向轨迹注入强化组相对策略优化,以应对困难语音仅产生失败轨迹的情况。多类上下文条件下的实验表明,该方法在提升转写质量和热词识别准确率的同时,对无关候选保持稳健。其意义在于为热词感知语音识别提供了一种先推理后转写的可靠范式,缓解了检索候选质量参差带来的风险。

🔑 关键词速览

上下文自动语音识别(Contextual ASR)利用上下文信息(如候选热词列表)来提升罕见实体识别效果的自动语音识别技术。
热词(Hotword)在特定场景中需要被优先识别的关键词或实体,通常由外部知识提供候选列表。
上下文引导的推理框架(Context-steered reasoning framework)一种在转写前先生成音频标题以评估候选词相关性的推理方法。
组相对策略优化(Group Relative Policy Optimization)一种强化学习优化算法,通过比较一组策略轨迹的相对表现来更新策略。
轨迹注入(Trajectory Injection)在强化学习训练中,向策略优化过程注入特定轨迹以增强学习效果的技术。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅