专家减半模型仍答对却不再简洁！敏感令牌仅占4%却决定成败
Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
📖 AI 总结
该研究考察了在预填充阶段减少混合专家（MoE）模型路由专家数量对短答案问答任务的影响，并通过token、层和注意力路径干预在四个MoE模型系列中定位损伤来源。研究发现，专家数减半时，三个系列的F1损失主要体现为答案形式受损——模型仍能找到答案，但不再简短作答。在Qwen3-30B-A3B中，损失集中在答案前的两个聊天模板token上；在DeepSeek-V2-Lite中则位于开头8至32个提示token（其指令所在处），按答案似然计分别约占损伤的一半和五分之一。减少专家对首token的注意力质量、范数和最大激活改变不足4%，恢复超级专家或大规模激活最多挽回约四分之一损失，远不及保持敏感位置满专家配置。在约4% token使用全专家的真实提示中，将全专家位置放在任务接口处可使F1与未修改模型相差不到1分，随机放置则差约3分。由于答案边界总是单轮提示的结尾，且DeepSeek指令移离开头后损失不再可检测，所发现的敏感token均位于提示两端。11K token提示下首token时间降低约14%，2K token时则无此效果。
🔑 关键词速览
| Mixture-of-Experts (MoE) | 混合专家模型，一种通过路由网络将输入分配给少数专家子网络以降低计算成本的架构。 |
| Prefill | 预填充阶段，指模型在生成回答前一次性处理整个输入提示词的计算过程。 |
| Expert Reduction | 专家减少，指在推理时减少每个令牌激活的专家数量以节省计算资源的技术。 |
| F1 Score | F1 分数，衡量分类或问答任务中精确率和召回率的调和平均指标。 |
| Time to First Token (TTFT) | 首令牌时间，指从输入提示词到模型生成第一个输出令牌所需的延迟。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅