本文提出一种轻量级方法,可直接从语音中检测语码转换(CS),即同一话语内交替使用不同语言的现象。由于CS在多语种语音中常见但预训练语料中覆盖不足,识别相关话语对构建更具代表性的多语种语料库具有重要意义。该方法利用预训练语音编码器在帧级别编码的语言信息,通过单语录音识别语言选择性隐藏维度,并将其帧级激活聚合为CS预测,再借助少量CS数据调整决策规则。实验表明,Whisper-small编码器在CS-FLEURS的14个语言对上平均F1达0.798,优于CNN的0.776和HuBERT线性基线的0.751。研究说明预训练语音编码器已包含识别CS所需信息,为多语种语料筛选提供了高效工具。
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅