850万参数卢干达语模型，分词效率翻倍，碾压LLaMA-3和Gemma！
Pearl-Chat: Engineering a native Luganda language model from first principles in JAX and Flax NNX
📖 AI 总结
该研究针对低资源非洲语言在现有语言模型中面临的计算与形态学劣势，构建了面向卢干达语的专用语言模型Pearl-Chat。研究指出，通用多语言分词器在黏着型班图语言上的词生育率常超过3.2，显著降低上下文效率并增加延迟。为此，作者基于JAX与Flax NNX从第一性原理出发，设计了一个约847万参数的因果解码器模型，并从头训练了词表规模为8192的字节级BPE分词器，实现每词1.60个token的生育率和每token 4.88字符的压缩率，较大规模多语言分词器压缩效率提升约一倍。模型采用两阶段课程训练，在4000步优化中验证交叉熵从9.4695降至0.1818。在三级诊断基准上，模型取得0.9792的ROUGE-L和0.9405的BLEU，并保持班图语名词类的一致关系。该工作为低资源黏着语提供了可复现的建模路径，并开源了权重、分词器与代码。
🔑 关键词速览
| Pearl-Chat | 一个专为卢干达语设计的约850万参数因果解码器Transformer语言模型。 |
| JAX / Flax NNX | JAX是高性能数值计算库，Flax NNX是其神经网络扩展，支持显式函数状态分解。 |
| 字节对编码 (BPE) | 一种子词分词算法，通过迭代合并频繁字节对来构建词汇表，适用于低资源语言。 |
| 生育率 (Fertility) | 分词效率指标，表示每个词平均被分割成的token数量，越低表示压缩越好。 |
| SPMD张量并行 | 单程序多数据并行策略，使用jax.sharding.Mesh在多个设备上分片张量以加速训练。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅