三分之一模型只会抄答案！17个模型实测揭示上下文学习真相
From Copying to Composition: How Language Models Develop In-Context Learning
📖 AI 总结
本研究探讨语言模型如何习得上下文学习能力，通过一项受控诊断任务区分两种行为：直接复制邻近示例的答案，还是整合整个提示中的信息进行推理。对17个模型的测试显示，约三分之一偏好复制答案，少数无法确定，其余则偏好符合规则的答案，后者准确率更高，且其预测受提示中要求的值控制，而非最接近的冲突示例。检查点分析发现，模型在准确率尚未显著超越随机水平之前，就已开始优先关注任务相关的提示词元。匹配训练实验表明，先定义结尾再查询的合成文档能促使模型转向组合式回答，而基于改写真实文档的定义练习进行微调，则能提升提示重新指派标签含义时的准确率。研究结论是，上下文学习并非作为单一统一能力被习得，提示控制、答案偏好、无候选构建与迁移各自沿着不同轨迹发展。
🔑 关键词速览
| In-Context Learning (ICL) | 上下文学习，指语言模型无需更新参数，仅根据提示中的指令和示例即可适应新任务的能力。 |
| Controlled Diagnostic | 受控诊断，一种实验设计，通过分离复制与整合等不同认知过程来精确评估模型行为。 |
| Checkpoint Analysis | 检查点分析，通过分析模型训练过程中不同时间点的快照来追踪能力发展的方法。 |
| Compositional Responses | 组合式回答，指模型整合提示中多个信息片段而非简单复制单个示例所生成的回答。 |
| Prompt Control | 提示控制，指模型预测受提示中特定信息（如任务相关词元）影响的程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅