🔥 今日值得一读
268次实验砸出多模态数据混合缩放定律：视觉强干扰音频，音频却几乎不干扰文本！
Scaling Laws for Multimodal Data Mixtures
👨💼 主理人解读 · 为什么值得关注
为多模态预训练提供各模态配比与干扰成本的定量指导，开发者可据此优化数据混合策略。
📖 AI 总结
本文针对多模态大模型预训练中数据配比缺乏科学依据的问题，基于混合专家（MoE）架构开展了268组实验，模型规模覆盖4.57亿至83亿参数，训练数据量最高达1500亿token，系统推导了文本、视觉与音频三种模态的数据混合缩放规律。研究得出三项关键发现：其一，各模态的计算最优配置存在差异，音频偏向扩大模型参数而非数据量，文本和视觉则需模型与数据均衡扩展；其二，视觉或音频数据重复超过两倍后收益甚微；其三，跨模态干扰具有显著不对称性，视觉会强烈干扰音频学习，而音频对文本和视觉的干扰可忽略不计。该工作为前沿多模态大模型的预训练数据配比提供了原则性理论框架，具有重要的实践指导意义。
🔑 关键词速览
| 多模态大语言模型 (MLLMs) | 能够处理和理解多种模态（如文本、图像、音频）的大规模语言模型。 |
| 混合专家 (MoE) | 一种神经网络架构，通过组合多个专家网络并由门控机制选择激活，以实现高效扩展。 |
| 缩放定律 (Scaling Laws) | 描述模型性能如何随模型大小、数据量等规模因素变化的数学规律。 |
| 数据混合 (Data Mixtures) | 在预训练中不同模态或来源的数据的混合比例和方式。 |
| 跨模态干扰 (Cross-modal Interference) | 一种模态的学习对其他模态学习产生的负面影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅