一个方向就能控制AI说话量，语音比率从21%拉到61%，换个人参考风格立马变！
Reference-Guided Turn-Taking Style Transfer for Full-Duplex Spoken Language Models
📖 AI 总结
该研究针对全双工语音语言模型提出了一种参考引导的轮流发言风格迁移方法。作者发现，模型每一帧是否接话的决策可由一个单一的高层残差流方向——"主动性向量"——来刻画，该向量无需训练或标注即可从模型自身对话中提取。它既能提前最多800毫秒预测发言起始，也能通过生成时缩放来调节发言比例，使其从6%至12%提升到42%至61%（未干预时为21%至30%），且在不同对话、权重和语料上表现一致。仅需一段简短的参考录音，即可将某位说话者的轮流发言风格迁移给模型，且该迁移具有参考特异性：更换他人参考会在93%至98%的情况下降低匹配度。这表明轮流发言风格并非固化于模型权重，而是可读取、可调节、可按人校准的方向。
🔑 关键词速览
| 全双工口语语言模型 | 一种能够同时进行听说、在每一帧决定是否发言的语音对话模型。 |
| 主动性向量 | 从模型自身对话中提取的深层残差流方向，用于控制模型发言的主动性。 |
| 轮流发言风格 | 对话中说话者决定何时开始和结束发言的行为模式。 |
| 语音比率 | 模型在对话中发言时间所占的比例。 |
| 参考引导迁移 | 利用一段参考录音将特定说话者的轮流发言风格迁移到模型上的方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅