80亿参数实测：满足开放世界三要求的AI越学越强，不满足的退化到连规模都救不了
Open-world AI: a Tale of Three Requirements
📖 AI 总结
这篇论文探讨了开放世界人工智能所需满足的三项核心要求。作者指出，封闭世界假设任务固定、数据可独立同分布采样，而开放世界则要求机器具备处理未预设任务的通用能力，且数据以分组形式呈现。为此，机器必须进行推理时学习，这是第一项要求；通过将任务建模为共享潜在因子并分解训练目标，作者推导出另外两项要求：丰富的表征，即保留超出独立同分布泛化所需的信息，以及预测性解耦，即将输入输出对齐为匹配的低维分组。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文带来的收益。研究在参数量达80亿的语言模型上验证了这些主张，关注模型是否具备某种性质而非性能高低。结果表明，满足要求的模型会随相关任务数据积累而提升，其余模型则退化，且规模扩大或层类型交错均无法修复这一问题。
🔑 关键词速览
| 开放世界AI | 指AI系统需处理未预先定义、动态变化的任务，而非仅解决封闭环境中的固定问题。 |
| 推理时学习 | 模型在测试或推理阶段根据少量示例进行学习，而非仅依赖训练阶段的参数更新。 |
| 丰富表示 | 一种保留超出独立同分布泛化所需信息的特征表示，有助于处理多样任务。 |
| 预测性解缠 | 将输入和输出对齐为匹配的低维组，使模型能分离并控制不同潜在因子。 |
| 独立同分布泛化 | 传统机器学习假设训练和测试数据独立同分布，模型在此假设下评估性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅