🔥 今日值得一读
CSD新蒸馏法跨分词器知识迁移，平均性能超最强基线1.8分！
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
👨💼 主理人解读 · 为什么值得关注
解决师生模型词表不一致时的蒸馏难题，无需手工选目标，可直接集成到现有蒸馏流程中迁移大模型能力。
📖 AI 总结
该论文提出Common-Support Distillation（CSD），一种统一的基于logits的跨分词器知识蒸馏框架，旨在解决教师与学生模型因词表和分词方式不同而导致的下一词分布难以对齐的问题。CSD在每个对齐的输入片段上构建师生共享支撑集，并用单一目标函数匹配诱导分布：一对一场景使用显式公共词对，其他场景则借助自回归链式法则构建虚拟支撑集，同时引入残差事件以容纳显式支撑集之外的概率质量，保证分布归一化。在Llama-3.2-1B和Gemma3-1B-PT学生模型搭配Qwen与Phi教师的四组设置中，CSD平均性能均为最优，最高超出最强基线1.8分，并优于继续预训练和同分词器蒸馏；在Llama-3.1-8B上，基础学生和指令微调学生的平均准确率分别最高提升4.2分和1.6分。该工作为跨模型家族的知识迁移提供了更通用、少依赖启发式设计的蒸馏方案。
🔑 关键词速览
| 跨分词器知识迁移 | 在不同分词器（词汇表和分词方式不同）的模型之间传递知识的技术。 |
| logits蒸馏 | 利用教师模型输出的未归一化对数概率（logits）来指导学生模型训练的知识蒸馏方法。 |
| 共享支持集 | 教师和学生模型输出分布共同覆盖的词元集合，用于对齐和匹配分布。 |
| 自回归链式法则 | 根据序列生成的自回归特性，将联合概率分解为条件概率乘积来计算概率的方法。 |
| 残差事件 | 用于捕获显式支持集之外的概率质量的事件，确保分布归一化。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅