开源语音驱动数字人新王！210亿参数版唇同步超越商业模型
Kandinsky S2V 1.0: Audio-Driven Avatar Video Generation
📖 AI 总结
Kandinsky S2V 1.0 是一套开源的语音驱动人像视频生成模型，包含 2B 参数的 Lite 版和 21B 参数的 Pro 版。模型以单张参考图、语音波形和文本提示为输入，生成 25 FPS 的长视频，使唇动、表情、姿态和手势与语音同步。其架构通过 Qwen2.5-Omni 统一处理文本与音频条件，并引入参考感知的三尺度视觉记忆，训练基于 Kandinsky 5.0 视频基础模型，语料为 117 万条经主动说话人检测筛选的单人片段，字幕覆盖英语和俄语。在人工对比评估中，Pro 版整体表现与最强开源基线及两个商业模型相当或更优，唇同步尤受偏好；在常见基准上两款模型均位居前列。团队还提供 π-Flow 蒸馏版本，其中 Pro 蒸馏版仅需 16 步采样且无需无分类器引导，端到端提速 5.4 倍，指标基本不降。代码、权重及 diffusers 集成以 MIT 许可开源，旨在推动语音到视频生成的开放研究与部署。
🔑 关键词速览
| Kandinsky S2V 1.0 | 一个开源的语音到视频模型系列，可根据参考图像、语音和文本提示生成与语音同步的人体动画视频。 |
| Qwen2.5-Omni | 一个多模态大模型，在此架构中用于同时提取文本和音频条件信息。 |
| π-Flow 蒸馏 | 一种模型蒸馏技术，用于压缩采样步骤，使模型在更少步骤内生成视频并显著提升推理速度。 |
| 无分类器引导 | 一种在扩散模型中常用的条件生成技术，通过结合有条件和无条件预测来提升生成质量，但会增加计算成本。 |
| 主动说话人检测 | 一种用于从视频中自动识别并筛选出正在说话的人物片段的技术，用于构建训练语料。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅