多教师蒸馏新突破：CA-MOPD按能力差距动态调配监督，六项基准平均32.22分，超越MOPD和Open-MOPD！
Beyond Policy Discrepancy: Capability-Aware Multi-Teacher On-Policy Distillation
📖 AI 总结
该论文研究多教师在线策略蒸馏中如何合理分配各领域专家教师的监督强度。作者指出，现有基于策略差异的分配方式存在缺陷：学生行为与教师不一致，并不必然意味着能力仍有欠缺，学生甚至可能已追平或超过教师，却仍被施加强监督。为此提出CA-MOPD方法，先将多个强化学习专家合并为学生初始化，再利用验证器估计的师生能力差距动态调整各领域的蒸馏强度——差距缩小则减弱监督，学生能力回退则加强监督，同时保留教师提供的细粒度词元级指导。在数学、代码生成和指令遵循三类共六个基准上，该方法平均得分32.22，分别比朴素MOPD、Open-MOPD和仅合并初始化高出0.86、0.83和0.74分，验证了合并初始化与能力差距引导在同等训练预算下的有效性。
🔑 关键词速览
| 多教师在线策略蒸馏 (MOPD) | 一种将多个领域专家教师模型的知识整合到单个学生模型中的在线蒸馏方法。 |
| 能力感知的多教师在线策略蒸馏 (CA-MOPD) | 本文提出的方法，结合专家合并与能力引导的分配，根据学生与教师的能力差距动态调整蒸馏强度。 |
| 专家合并 | 将多个强化学习专家模型的参数或知识合并到一个学生模型中的初始化技术。 |
| 能力差距 | 通过验证器估计的教师与学生之间在特定任务上的能力差异，用于指导蒸馏强度的调整。 |
| 令牌级指导 | 在序列生成的每个令牌位置上提供的细粒度监督信号，通常由教师模型给出。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅