📖 AI 总结

在数据受限的语言模型预训练中，模型需反复使用有限数据，导致泛化能力下降。苹果研究团队以阿拉伯语为目标语言、英语为辅助语言，在1.5亿至14.3亿参数四种规模上进行了约1000次预训练实验，系统比较了两种应对策略：激进超参数调优（如高权重衰减）与混合高资源语言数据。结果显示，数据混合在验证损失和下游任务准确率上均优于超参数调优，且优势随模型规模扩大而增大。混合带来的性能提升相当于将目标语言独有数据量扩大2至3倍（验证损失）乃至2至13倍（下游任务）。研究还发现，目标语言验证损失会系统性低估混合的价值，因为混合不仅通过多样化训练信号起到正则化作用，还引入了重复语料无法提供的新知识，而验证损失仅能反映前者。作者据此建议：优先混合高资源语言数据，将混合比例置于超参数调优之上，并借助μP从代理小模型迁移超参数。