🔥 今日值得一读
首证上下文与权重归属规则，6.4万次判定GPT-2缓存与微调谁更优！
When Thoughts Become Memory: Unifying In-Context Learning and Fine-Tuning
👨💼 主理人解读 · 为什么值得关注
可指导开发者决定新知识走上下文还是微调，降低适配成本与风险。
📖 AI 总结
该论文提出一个统一框架，用于判断未见数据应放入预训练模型的上下文还是权重中。作者基于信息价值给出精确定律：在留出查询上节省的代码长度，在期望上等于模型存储的关于查询的比特数，加上先验修正，减去解码损失，适用于任意模型、架构、数据集和任务。该定律的上界可从一次测量中认证这一选择，并配有误差受控的随时有效检验。实验表明，所有认证在训练Transformer、TabPFN、占用网络和立体网络上均正确；检验在气动压力任务上选择TabPFN而非XGBoost，在32组比较的64000条查询流中61948次正确判断GPT-2缓存与微调的优劣，零假设流错误率不超过3.3%。该定律还能诊断上下文学习何时有效，并用于无标签评估和数据选择。
🔑 关键词速览
| In-Context Learning | 上下文学习，指模型在不更新权重的情况下，仅通过输入中的示例或提示来适应新任务的能力。 |
| Fine-Tuning | 微调，指在预训练模型的基础上，使用特定任务的数据继续训练以调整模型权重的过程。 |
| Code Length | 代码长度，在信息论中表示描述数据所需的比特数，此处用于衡量模型存储信息的信息量。 |
| TabPFN | 一种基于Transformer的表格数据预训练模型，专为小规模表格分类任务设计。 |
| AUROC | 接收者操作特征曲线下面积，一种衡量二分类模型性能的指标，值越高表示性能越好。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅