小语种西西里语翻译大突破：预训练模型碾压从头训练，分阶段训练效果惊人！
Climbing the Ladder: Automating Data Pipelines and Reproducing Baselines in Low-Resource Settings
📖 AI 总结
该研究针对低资源语言西西里语的机器翻译，重建并自动化了原有小型神经机器翻译系统的数据流程。作者从双语期刊《Arba Sicula》的PDF中提取平行文本，使用与语言无关的句子编码器进行对齐，并依据人工对齐结果调整阈值、过滤自动对齐的典型错误；同时将分词和词尾偏置的子词切分移植为不依赖Perl的实现，并在冻结测试集上评估。实验比较了从零训练的小型Transformer与经低秩微调的预训练NLLB模型，并复现了原系统的逆向训练配方。结果显示，预训练模型明显更优；分阶段训练对译入西西里语的提升大于译出；在涉及英语的方向上，采用更大适配器和更多回译的分阶段模型优于原配方，但在西西里语与意大利语之间则相反；多语言适配器会损害未训练方向的表现，限制其作为通用多语言模型的适用性。
🔑 关键词速览
| Neural Machine Translation (NMT) | 神经机器翻译，使用神经网络模型进行自动翻译的方法。 |
| Low-rank fine-tuning | 低秩微调，一种参数高效的微调方法，通过低秩分解减少可训练参数。 |
| Back-translation | 回译，一种数据增强技术，将目标语言翻译回源语言以生成额外训练数据。 |
| Subword segmentation | 子词分割，将单词切分为更小单元（子词）以处理未登录词和形态丰富语言。 |
| Adapter | 适配器，插入预训练模型中的小型可训练模块，用于高效微调。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅