韵律结构让音位模型在婴儿级小数据下语义组织最强！
Prosodic Structure as a Critical Component in Phonemic Language Modelling at BabyLM Scale
📖 AI 总结
该研究探讨在婴儿语言习得规模（BabyLM）下，为音素语言模型提供韵律结构信息能否提升建模效果。作者以 orthographic 文本为基线，构建了三种音韵丰富度递增的条件，分别在1000万和1亿词规模上训练 BERT 掩码语言模型。研究还新建了词汇判断任务和两项语义组织任务，以检验小数据条件下现有评测指标的生态效度。结果显示，经韵律标注的音素流在两项语义任务上均表现出最强的分类组织能力，带边界结构的音素模型与 orthographic 基线相当；而词汇判断得分主要反映音位配列熟悉度而非词性，所有模型在对抗性反转条件下接近或低于随机水平，提示此前同类结果部分属于假象。研究认为，韵律结构是类婴儿小数据条件下音素语言建模的关键组成部分。
🔑 关键词速览
| BabyLM | 一个旨在模拟人类儿童语言学习规模的小数据语言建模挑战/基准。 |
| 音位语言建模 | 基于音位（语音的最小单位）序列而非正字法文本进行的语言模型训练。 |
| 韵律结构 | 语音中由重音、语调、边界等构成的层次组织，婴儿利用其辅助语言学习。 |
| 词汇判断任务 | 要求判断给定字符串是否为真实单词的实验任务，用于评估词汇性、词似性等。 |
| 伪对数似然评分 | 一种用于评估语言模型对序列概率的评分方法，常用于比较模型对词语的预测能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅