阿拉伯语LLM训练成本砍半！AQL-Lite仅用52%时间拿下全参数CPT 94%性能
AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining
📖 AI 总结
该研究针对阿拉伯语大模型训练中网络数据噪声大、方言差异显著以及持续预训练成本高昂的问题，提出AQL-Lite框架，用于将多语言大模型高效适配至现代标准阿拉伯语。该框架由两部分构成：一是以质量为先的数据整理流程，包括结构清洗、启发式与模型过滤、现代标准阿拉伯语筛选和去重；二是部分参数持续预训练方案，在网络中训练RS-LoRA适配器，同时训练最后八个Transformer块和嵌入矩阵，并采用分层学习率。在10亿token预算下，使用AQL整理数据进行持续预训练，使四项阿拉伯语基准平均分较原始网络文本提升3.51分，而后者相对基座模型无增益。在50亿token对照实验中，AQL-Lite以52%的实际耗时恢复了全参数持续预训练94%的增益，平均分为73.19对73.58，并在每项基准上优于仅适配器基线；消融实验表明适配器、解冻块和嵌入训练各有贡献。扩展至400亿现代标准阿拉伯语token并用一百万条示例进行指令微调后，所得120亿参数模型在Open Arabic LLM Leaderboard v2七项基准套件上得分75.3。结果表明，在精心整理语料上进行部分参数持续预训练是实现高效现代标准阿拉伯语适配的可行路径。
🔑 关键词速览
| AQL-Lite | 一种用于将多语言大模型高效适配到现代标准阿拉伯语的时间与资源高效框架。 |
| Continual Pretraining (CPT) | 在预训练模型基础上继续使用领域或语言特定数据进行训练，以适配新语言或领域。 |
| RS-LoRA | 一种低秩适配器变体，用于在部分参数持续预训练中高效微调模型。 |
| Modern Standard Arabic (MSA) | 现代标准阿拉伯语，是阿拉伯语世界广泛使用的正式书面和标准变体。 |
| OALL v2 | Open Arabic LLM Leaderboard v2，一个用于评估阿拉伯语大语言模型性能的公开基准套件。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅