Cache2LoRA让解码吞吐量飙到全上下文ICL的5.9倍，17个任务直逼0.671！
Cache2LoRA: Understanding and Improving Context Internalization
📖 AI 总结
该论文研究上下文到LoRA方法，即把文档编码为低秩参数更新，使语言模型无需在解码上下文中保留原文即可作答。作者通过受控诊断将现有方法的能力拆分为事实判别、目标保留和响应适配，发现竞争来源会干扰答案，而仅目标构建与记忆状态优化可在固定更新规模下改善事实恢复，但恢复事实并不保证答案遵循指令。为此提出Cache2LoRA，利用查询从可复用的冻结文档缓存中聚合证据再生成LoRA更新，可训练编码仅作用于查询和记忆令牌后缀，多风格监督同时教授证据保留与答案表达。在17项任务上宏F1达0.663，接近全上下文ICL的0.671；在32K文档、256令牌输出、批大小16时解码吞吐为全上下文ICL的5.9倍；相同内存规模下，生成的LoRA在长而多样的 intervening 文本下比学习型KV更可靠地保持答案准确率，并与保留的文档KV结合获得更高的混合F1和EM。
🔑 关键词速览
| Context-to-LoRA | 一种将文档编码为低秩参数更新（LoRA）的方法，使语言模型无需在解码时保留源文本即可回答问题。 |
| LoRA | 低秩适应（Low-Rank Adaptation），一种参数高效微调技术，通过低秩矩阵更新模型权重。 |
| In-context learning (ICL) | 上下文学习，指语言模型在推理时仅通过输入上下文中的示例或文档来学习任务，无需更新参数。 |
| Macro F1 | 宏平均F1分数，一种评估指标，先计算每个类别的F1分数再取平均，适用于多分类任务。 |
| Learned-KV | 学习到的键值（Key-Value）表示，指通过训练得到的键值缓存，用于在解码时提供上下文信息。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅