该研究分析了2020至2025年间1158篇开放获取的同行评审论文,考察大语言模型时代低资源语言研究的关注度与语言代表性。为超越单纯的论文数量统计,作者提出“语言包容性框架”(LIF),从研究增长、代表性扩展、代表性连续性和分布公平性四个维度衡量语言包容性。数据显示,相关论文年发表量从52篇增至415篇,在ACL Anthology中的份额增长5.4倍,但增长主要集中于已有代表性的语言,而非扩大对欠代表语言的覆盖。亚洲语言占所分析低资源语言使用者总数的64.1%,却仅获得46.7%的语言代表性份额,约为其比例份额的0.7倍;欧洲语言则获得其比例份额的5.3倍。撒哈拉以南非洲和东南亚等语言多样性高的地区语言覆盖率最低。在洲际层面,没有任何地区在四个维度上均表现良好,表明研究增长本身并非衡量语言技术公平与包容进展的可靠指标。
| 低资源语言 (LRLs) | 指在自然语言处理研究和资源建设中数据、工具和模型覆盖较少的语言。 |
| 语言包容性框架 (LIF) | 一个从研究增长、代表性扩展、代表性连续性和分布公平性四个维度衡量语言包容性的多维评估框架。 |
| 代表性扩展 | 指研究覆盖的语言种类和说话者群体范围的扩大程度。 |
| 分布公平性 | 指不同语言或群体在研究资源分配中与其人口比例相匹配的公平程度。 |
| ACL Anthology | 计算语言学协会(ACL)维护的开放获取论文数字图书馆,是NLP领域的主要出版平台之一。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅