🔥 今日值得一读
药物名读音正确率从54.6%飙到90.7%！对话式TTS零预训练攻克罕见词发音
Pronouncing Hard Words: Phoneme Adaptation of a Pretrained Conversational Text to Speech Model
👨💼 主理人解读 · 为什么值得关注
语音Agent读不准罕见药名等关键实体时，可用该方法做音素级发音控制，提升可信度。
📖 AI 总结
该研究针对对话式语音合成模型在罕见、关键药物名称发音上缺乏显式控制的问题，提出一种无需预训练或中期训练的改造方案：通过扩展ARPAbet音素词表、持续进行音素增强的监督微调，并在推理阶段引入免训练声学偏置，为预训练对话TTS模型补上音素可控能力。在7500条临床药物发音评测中，严格由Gemini判定的正确率从无音素增强时的54.6%提升至90.7%，优于所有对话式与无状态TTS基线。由于训练阶段从未见过任何药物名称，评测完全属于域外场景，提升反映的是学到的发音能力而非记忆。盲测随机人类研究中，成人听者对84%的合成片段判为正确，最强基线为82%，分层子集上置信区间重叠；在全部250对匹配片段上，Gemini与人类多数判断的二元标签一致率为84.8%（κ=0.57）。
🔑 关键词速览
| 对话式TTS | 一种流式、上下文条件化的文本转语音模型，能根据对话历史调整语音表达。 |
| 语音素增强监督微调（SFT） | 在监督微调过程中引入语音素信息，以增强模型对发音的控制能力。 |
| ARPAbet | 一种用于英语语音素转写的音标字母表，常用于语音识别和合成。 |
| 声学偏置 | 在推理时通过调整声学模型输出分布来引导特定发音的技术。 |
| 域外评估 | 测试数据与训练数据分布不同，用于检验模型的泛化能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅