🔥 今日值得一读
MoE大模型压缩新突破！PRIME统一剪枝合并，精度不减内存大降
PRIME: Frequency-Aware Unified Pruning and Merging for MoE Compression
👨💼 主理人解读 · 为什么值得关注
可用来压缩MoE大模型以降低显存占用，开发者能将其用于部署时的专家剪枝与合并。
📖 AI 总结
针对混合专家（MoE）模型参数量庞大、部署时内存压力大的问题，现有压缩方法通常将专家剪枝与合并割裂处理，并依赖贪心启发式策略，容易造成不可逆的信息损失或表征污染。本文提出PRIME，一个通过自适应剪枝与合并实现MoE压缩的统一优化框架。该方法将离散的剪枝-合并分配问题建模为基于频率加权代理目标的全局整数线性规划，在联合决策的同时考虑专家使用频率，并通过固定代表性分配下的误差界分析论证了该目标的合理性，表明其倾向于选择高频专家作为聚类中心，从而提升路由稳定性。在Qwen3-30B-A3B和Qwen3.5-122B-A10B上的实验表明，PRIME在知识、编程、数学和长上下文任务中均保持了较强的精度，同时通过vLLM上的服务基准量化了专家压缩带来的内存与吞吐收益。
🔑 关键词速览
| Mixture-of-Experts (MoE) | 一种模型架构，由多个专家子网络和一个路由机制组成，每次输入仅激活部分专家以扩大参数规模而不显著增加计算量。 |
| 专家剪枝（Expert Pruning） | 通过移除冗余或不重要的专家来减少 MoE 模型参数量的压缩技术。 |
| 专家合并（Expert Merging） | 将多个功能相似的专家参数融合为一个专家，以降低模型规模并保持性能的压缩技术。 |
| 整数线性规划（Integer Linear Programming） | 一种优化方法，在整数约束下求解线性目标函数的最优解，常用于离散决策问题。 |
| 频率加权代理目标（Frequency-Weighted Surrogate Objective） | 一种优化目标，根据专家被路由使用的频率对其重要性进行加权，以引导剪枝和合并决策。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅