120种配置实测：数据越多越强，但跨世界泛化仍有硬伤！
Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
📖 AI 总结
该研究通过120组训练配置（模型规模0.8B至27B、数据量50至1600小时、五种数据混合方案），系统考察了持续预训练在多样化虚拟世界中对具身智能体的扩展规律。核心发现有三：增加数据量能提升语料内表现，数据多样性有助于迁移至相近世界但对差异较大的世界增益有限，模型规模可提高数据效率但在单一世界训练下对远距离世界的泛化反而更差；训练呈现早期“接口阶段”跨世界收益广泛、后期“世界阶段”收益收窄至语料内及相近世界的规律，并据此拟合出验证损失与数据量、多样性及模型规模之间的经验缩放律；所得模型在3D世界中与Minecraft专用模型及前沿模型相当，实时场景表现最佳。研究同时指出模仿学习的局限与远距离世界的持续差距，表明构建通用具身智能体需要超越持续预训练的更多训练阶段。
🔑 关键词速览
| 持续预训练 (Continued Pre-Training, CPT) | 在已有预训练模型基础上，使用新数据继续训练以适配下游任务或领域的方法。 |
| 具身智能体 (Embodied Agents) | 在虚拟或物理环境中通过感知和行动与环境交互的智能体。 |
| 缩放定律 (Scaling Law) | 描述模型性能（如损失）随数据量、模型大小等规模因素变化的经验规律。 |
| 语料库内世界 (In-corpus Worlds) | 训练数据中已包含的世界，用于评估模型在训练分布内的性能。 |
| 遥远世界 (Distant Worlds) | 与训练数据在视觉风格、动态等方面差异较大的未见世界，用于测试泛化能力。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅