平行数据预训练竟不如标准法？两阶段策略逆袭，跨语言任务全面碾压！
How to Use Parallel Data for Multilingual Pretraining
📖 AI 总结
该研究探讨如何利用平行数据的结构改进多语言预训练。作者提出并行预训练方法，将每篇文档与其译文拼接为同一训练序列，并与标准预训练在相同token预算下从零训练进行对比。结果显示，尽管并行预训练能更好地利用跨语言共享信息、构建较强的跨语言基础，但单独使用并不能稳定提升通用语言理解能力，原因在于并行训练上下文与单语言任务输入之间存在不匹配。为此，作者提出两阶段方案：先用并行预训练建立跨语言基础，再用标准预训练适配常规语言建模。在资源丰富和资源匮乏两种设定下，该两阶段方法在相同训练预算下均稳定优于单独的标准预训练，提升了通用语言理解与跨语言任务表现。
🔑 关键词速览
| 平行预训练 (PPT) | 一种多语言预训练方法，将每个文档与其翻译拼接在同一训练序列中，以显式利用平行数据的结构。 |
| 标准预训练 (SPT) | 传统的多语言预训练方法，独立采样源文档和翻译，不显式利用平行结构。 |
| 跨语言迁移 | 将一种语言上训练的模型能力应用到另一种语言任务上的能力。 |
| 预训练-微调范式 | 一种机器学习训练策略，先在大规模数据上预训练模型，再在特定任务上微调。 |
| 平行语料库 | 包含源语言文本及其对应目标语言翻译的数据集。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅