token选对，蒸馏翻倍！新方法FUW最高提升4个点
Token Utility for On-Policy Distillation via Local Trust-Region Optimization
📖 AI 总结
本文提出一种面向在线策略蒸馏（OPD）的token效用度量方法，从蒸馏目标本身推导token重要性，而非依赖不确定性或师生分歧等外部信号。其核心思路是：在给定局部KL预算下，衡量每个位置的学生预测分布损失能下降多少，由此得到效用分数，并证明该分数在反向KL下等价于学生加权对数概率比的方差，在正向KL下等价于Pearson卡方散度。作者将其实现为Fisher效用加权（FUW），一种连续且均值归一化的token加权方案。实验在七个数学推理基准和三个Qwen3师生模型对上验证，FUW在反向KL和正向KL下分别较均匀OPD提升约1.35至4.0和1.08至2.71个宏平均点，且仅用单一闭式分数即可与现有选择性方法竞争。该工作为token选择提供了有理论依据的统一视角。
🔑 关键词速览
| On-Policy Distillation (OPD) | 在线策略蒸馏，一种让学生模型在自身生成的轨迹上接受教师模型指导的蒸馏方法。 |
| Fisher Utility Weighting (FUW) | Fisher 效用加权，本文提出的基于 Fisher 矩阵的 token 加权方法，用于在线策略蒸馏。 |
| Reverse-KL / Forward-KL | 反向/前向 KL 散度，两种常用的蒸馏目标函数，分别对应不同的优化方向。 |
| Categorical Fisher Matrix | 类别 Fisher 矩阵，用于衡量模型输出分布对参数扰动的敏感度，此处用于计算 token 效用。 |
| Token Selection | token 选择，在蒸馏过程中挑选对训练更重要的 token 位置进行优化，以提高效率。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅