🔥 今日值得一读
一个模型搞定图像文本语音蛋白质，联合生成词错率仅3.5%！
Multimodal Co-Generation With Continuous Bitstream Diffusion
👨💼 主理人解读 · 为什么值得关注
开发者可用同一套训练采样协议做跨模态生成，减少为每种模态单独设计模型的成本。
📖 AI 总结
本文提出连续比特流扩散（CoBit）可作为多模态联合与条件生成的统一框架，其核心在于不同模态共享同一套训练与采样协议：单一输入投影、Transformer 主干、逐比特预测头和二元分数匹配目标，无需针对特定模态设计专属目标或采样流程。研究在图像-文本、语音-文本和蛋白质序列-结构三类任务上分别从零训练模型，单个检查点即可通过改变比特流中被观测的部分，同时支持联合生成与训练涵盖的条件生成方向。在 MNIST-Sum 上取得近乎完美的条件准确率与高联合一致性；语音-文本模型在未经文本预训练的情况下完成语音合成、识别、续写与无条件协同生成，生成语音与生成文本之间的词错误率为 3.5%；蛋白质模型中单一检查点支持正向折叠、反向折叠与联合生成，100 至 500 残基的联合生成蛋白经计算重折叠后与生成骨架的平均自一致性 TM-score 达 0.911。结果表明 CoBit 为差异显著的模态及跨模态依赖形式提供了通用生成框架。
🔑 关键词速览
| 连续比特流扩散 (CoBit) | 一种将数据表示为连续比特流并应用扩散过程的生成框架，最初用于语言建模，现扩展至多模态生成。 |
| 多模态生成 | 指同时生成或条件生成多种模态数据（如图像、文本、语音、蛋白质结构）的任务。 |
| 二元分数匹配 | 一种训练目标，通过匹配数据分布的对数密度梯度（分数）来学习生成模型，此处针对比特流进行二元预测。 |
| 自一致性 TM-score | 衡量蛋白质结构相似性的指标，TM-score 越高表示结构越相似，自一致性指生成序列重新折叠后与生成结构的吻合程度。 |
| 词错误率 (WER) | 语音识别中衡量识别结果与参考文本差异的指标，值越低表示识别越准确。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅