LLM先学形态后稳语义！训练数据越大，分歧识别越强
Tracing Morphology, Semantics, and Divergence in Language Acquisition
📖 AI 总结
该研究利用Pythia和OLMo等开源大模型的中间训练检查点，在教师强制评估框架下系统考察了语言习得随训练步数和模型规模的发展轨迹，聚焦形态结构习得、嵌入漂移、重复主导效应和共现效应四个核心特征。关键发现是：模型习得形态结构的时间远早于语义嵌入趋于稳定的阶段，表明语言能力的形成存在明显的阶段性分化。研究还揭示，训练数据集规模对发散识别能力有正向影响，而预训练中的共现关系和推理阶段的重复则分别对发散识别和联想链接生成产生负面影响。这项工作填补了以往研究多关注完全训练模型、忽视中间训练阶段发展轨迹的空白，为理解大模型如何从统计表征逐步演化出结构化语言能力提供了新的实证依据。
🔑 关键词速览
| 语言习得 | 指模型在训练过程中逐步获得语言结构和语义能力的过程。 |
| 教师强制评估 | 一种评估方法，在预测下一个词时使用真实的前文作为输入，以衡量模型的语言建模能力。 |
| 嵌入漂移 | 指词嵌入向量在训练过程中随参数更新而发生的方向和位置变化。 |
| 重复主导效应 | 指训练数据或推理过程中重复内容对模型学习或生成行为产生的支配性影响。 |
| 共现效应 | 指词语在文本中共同出现的频率对模型学习词语关联和语义表示的影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅