方言税贯穿全流程！语言模型在分词、训练、推理每步都在“歧视”方言，性能差距竟层层累积！
The Dialect Tax: Dialectal Biases Persist throughout the Language Modeling Pipeline
📖 AI 总结
该研究系统追踪了语言模型中“方言税”现象的产生机制，即模型在处理非标准英语方言（如非裔美国人英语）时表现出的系统性性能差距。通过构建保持语义一致、仅改变表层形式的平行英语方言语料库，研究者确认现代语言模型虽能识别方言文本与标准美式英语的语义等价性，但在分词、预训练、后训练及推理等各环节均存在表征差异。关键发现包括：字符级分词无法消除输入输出不对称性；方言对在预训练中引发的梯度更新差异大于完全不相关的标准英语文档对，表明模型学习方言内容比学习无关内容更困难；后训练阶段奖励模型对方言特征表现出不稳定且依赖上下文的偏好。研究结论指出，方言税并非由单一环节造成，而是在语言建模全流程中被逐步编码和累积。
🔑 关键词速览
| 方言税（Dialect Tax） | 指语言模型在处理方言文本时表现出的系统性性能下降或偏差，类似于一种隐性的成本或惩罚。 |
| 语言建模流程（Language Modeling Pipeline） | 指从分词、预训练、后训练到推理的完整语言模型开发和应用过程。 |
| 标准美国英语（Standard American English, SAE） | 美国英语的标准变体，通常用于正式场合和教育，被视为“规范”形式。 |
| 非裔美国人英语（African American Vernacular English, AAVE） | 美国非裔社区使用的英语方言，具有独特的语法和词汇特征。 |
| 反事实分词器（Counterfactual Tokenizer） | 一种字符级分词方法，用于测试子词分词对模型行为的影响，通过绕过传统分词来隔离变量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅