仅1000万词训练，这个模型在BabyLM 2026拿下最高分！
Data-Efficient Language Modeling: From Frontier Advancement to Principle-Guided Model Improvement
📖 AI 总结
本文介绍了一项在BabyLM 2026 Strict-Small赛道约束下（语料不超过1000万词、累计词呈现不超过1亿次）开展的端到端自主研究，旨在探索数据受限条件下的语言建模方法。研究分三阶段推进：第一阶段通过紧凑复述、预算再投资与残差增量学习构建前沿模型；第二阶段发现精确重复与对齐复述会因目标关系和预测窗口不同而产生不同的上下文利用模式，且恢复熟悉任务的性能并不保证模型能对未见输入沿用已学计算；第三阶段据此提出可检验的数据高效学习原则，即围绕预测所需的上下文依赖组织经验，分别设计可见信息、监督信号与保持机制，并同时检验学习、泛化与保持能力。最终模型在两代延续中综合得分从42.02提升至42.25，第二代在2026年9月8日公开快照中取得最高综合成绩。研究还涉及压缩、关系锚点、共享表征与测量等议题，并将模型、代码与研究记录公开，展示了“研究过程递归自我改进”的范式。
🔑 关键词速览
| BabyLM 2026 Strict-Small | 一个数据高效语言建模的基准测试，限制语料库在1000万词以内，累计词呈现量在1亿以内。 |
| 数据高效学习原理 | 一种可测试的学习原则，强调围绕预测所需的上下文依赖组织经验，并分别设计可见信息、监督和保持。 |
| Research RSI | 研究过程的递归自我改进，即科学理解和方法的创新改变后续的问题和设计，新实验对其进行测试和完善。 |
| 残差增量学习 | 一种学习策略，通过逐步学习残差信息来增量地构建模型，常用于高效利用有限数据。 |
| 九指标聚合 | 在BabyLM基准中综合九个评估指标得到的总体性能分数，用于衡量模型在多个任务上的表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅