16,000小时、28种语言!新语音翻译语料库是CVSS的8倍
CVSS-X: A Multilingual Speech-to-Speech Translation Corpus for 28 Languages
arXiv CL (cs.CL) 重要 多模态开源 🕐 09-15 12:00

📖 AI 总结

本文介绍了一个名为CVSS-X的大规模合成语音到语音翻译语料库,其核心思路是反转已有CVSS语料库的翻译方向。CVSS原本将21种语言翻译为英语,而CVSS-X则实现从英语向28种目标语言的翻译,覆盖12个语系。该语料库每种语言约含24万对平行语音,总时长超过16000小时,规模是CVSS的八倍。研究提供两个版本:CVSS-X-C使用每种语言两个标准音色,CVSS-X-T则采用跨语言声音克隆,二者均为全合成数据。评估显示其翻译质量与CVSS相当,且在类型学差异较大的语言间表现稳定。结合CVSS,该工作为双向及多语言语音到语音翻译研究提供了重要资源,代码与数据集已公开。

🔑 关键词速览

CVSS-X一个大规模合成语音到语音翻译语料库,支持从英语翻译成28种目标语言。
CVSS一个将21种语言翻译成英语的语音到语音翻译语料库。
语音到语音翻译一种将一种语言的语音直接转换为另一种语言的语音的技术。
跨语言语音克隆一种使用一种语言的语音样本生成另一种语言的语音的技术。
平行语音对两种语言中语义相同的语音样本对,用于训练翻译模型。
infoAI 公众号二维码

📱 每天一份 AI 前沿日报

关注公众号,每天 09:00 推送 · 不错过任何重磅