中期训练数据配比有最优解？10%-40%区间全领域最佳，对齐也救不回领域短板！
Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
📖 摘要
研究多领域中期训练中数据覆盖最优与对齐难以消除的领域差距。
🔑 关键词速览
| Mid-training | 介于预训练和对齐之间的训练阶段，用于调整模型在各领域的数据组成。 |
| Coverage optimum | 在数据混合中，使模型性能最优的某个领域数据占比值。 |
| Alignment-resistant domain gaps | 即使经过对齐训练（如SFT）也无法消除的领域间性能差异。 |
| KOR-Bench | 一个用于评估逻辑推理能力的基准测试集，包含多个语义规则不同的领域。 |
| Permutation test | 一种非参数统计检验方法，通过随机重排数据来评估观察结果的显著性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅