GPT-2自建96种语言实测：基本语序学得像，补语系统却跑偏！
From Parallels to Divergence: Language Models' Learning of Action Nominal Constructions
📖 AI 总结
该研究探讨语言模型如何学习动作名词化结构（ANC），即用名词形式表达事件、其论元标记遵循小句或名词短语模式的语法现象。作者采用语法工程方法构建合成语料，将自然语料语义输入与计算语法结合，生成96种在语序、配列、补语系统和ANC策略上各异的语言，并为每种语言从头训练GPT-2-small模型，用覆盖34种语法现象的定向最小对进行评测。结果显示，模型在基本小句配置上与自然语言的类型学分布存在平行性，但在补语系统和ANC策略上出现分歧，甚至学会了自然语言中罕见或未见的组合。这一部分对齐表明，自然语言的分布可能同时反映一般学习压力与模型实验未能完全捕捉的功能需求。
🔑 关键词速览
| 动作名词构式 (Action Nominal Constructions, ANCs) | 以名词形式表达事件，且论元标记遵循小句或名词短语模式的语法构式。 |
| 语法工程方法 (grammar-engineered method) | 结合自然语料语义输入与计算语法来构建合成语料库的方法。 |
| 配列 (alignment) | 语法系统中论元角色（如施事、受事）与句法位置或标记的对应模式。 |
| 补语系统 (complement system) | 语言中补语小句的编码方式，如限定或非限定形式的选择。 |
| 最小对 (minimal pairs) | 仅在一个语法特征上形成对比的句子对，用于评测模型对特定语法现象的敏感性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅