不用转录,直接从语音中检测语码转换!
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
Apple ML Research 重要 多模态论文方法 🕐 10-14 08:00

📖 AI 总结

本文提出一种轻量级方法,可直接从语音中检测语码转换(CS),即同一话语内交替使用不同语言的现象。由于CS在多语种语音中常见但预训练语料中覆盖不足,识别相关话语对构建更具代表性的多语种语料库具有重要意义。该方法利用预训练语音编码器在帧级别编码的语言信息,通过单语录音识别语言选择性隐藏维度,并将其帧级激活聚合为CS预测,再借助少量CS数据调整决策规则。实验表明,Whisper-small编码器在CS-FLEURS的14个语言对上平均F1达0.798,优于CNN的0.776和HuBERT线性基线的0.751。研究说明预训练语音编码器已包含识别CS所需信息,为多语种语料筛选提供了高效工具。

🔍 深度解读 换个视角,同一件事有不同答案

正在读取芙娘的解读…
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅