📖 AI 总结

本文介绍了首个从头预训练的三模态掩码扩散模型（MDM），可同时处理文本、图文和音频-文本数据，突破了以往基于单模态模型微调的双模态方案。研究系统分析了多模态缩放规律、模态混合比例、噪声调度及批大小影响，并提出一种基于随机微分方程的重参数化方法，将物理批大小与逻辑批大小解耦，从而无需再调优最优批大小。团队预训练了一个30亿参数、6.4万亿token的初步模型，在文本生成、文本到图像和文本到语音任务上均取得良好表现。这是迄今规模最大的多模态离散扩散模型系统性开放研究，为跨模态缩放行为提供了重要参考。