首个塔塔尔语语法基准TatBLiMP问世，1248对句子覆盖16种语法现象！
TatBLiMP: A Benchmark of Linguistic Minimal Pairs for Tatar
📖 AI 总结
本文介绍了TatBLiMP，这是首个针对鞑靼语（一种用西里尔字母书写的钦察语支突厥语言）的语言学最小对立对基准。此前鞑靼语缺乏任何语法性评估工具，即便是覆盖101种语言的MultiBLiMP也未将其纳入。该基准涵盖16种形态句法现象，共1248对句子，每对仅在单个语素上有语法与不合语法的差异。评测通过比较模型对两个句子的概率赋值来判断是否通过，无需文本生成或句法分析器，适用于基础模型和训练中期检查点。研究改编了TurBLiMP的现象清单和单语素扰动方法，并新增了鞑靼语特有的数词与量词后裸名词数现象。所有合法句子均取自鞑靼语文学散文，非法句子由确定性单语素扰动生成，并经母语者审核。实验显示，基准反映的是针对鞑靼语的专项训练程度而非参数规模：478M从零训练模型和125M单语模型接近0.97，而30至120B的前沿多语言大模型仅0.80至0.92。作者也指出其分类体系遗漏了元音和谐与辅音同化等形态音系现象，并提出构建母语者第二层评估的设想。
🔑 关键词速览
| TatBLiMP | 首个针对塔塔尔语的语言最小对基准，用于评估语言模型的语法性判断能力。 |
| 语言最小对 | 一对句子仅在一个语言特征（如一个语素）上不同，一个合乎语法，一个不合语法，用于测试模型的语法知识。 |
| 形态句法现象 | 涉及词形变化和句子结构的语法现象，如格标记、一致关系等。 |
| apertium-tat | Apertium平台上的塔塔尔语形态转换工具，用于生成确定性的单语素扰动。 |
| 元音和谐 | 突厥语族语言中常见的音系过程，词内元音在前后、圆唇等特征上相互协调。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅