🔥 今日值得一读
MoEZip新方法让KV缓存只留10%，LongBench和RULER分数竟提升2.3倍和4.9倍！
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
👨💼 主理人解读 · 为什么值得关注
可降低MoE大模型长上下文推理显存占用，同时保住生成质量，适合部署长文档场景。
📖 AI 总结
该论文针对稀疏混合专家（MoE）大模型在长上下文推理中的KV缓存瓶颈提出解决方案。现有KV缓存压缩方法主要面向稠密Transformer，忽略了MoE特有的问题：KV逐出会改变答案生成时被选中的专家，从而损害生成质量。作者提出MoEZip，一种路由感知的KV缓存压缩方法，其核心是引入基于路由分布Fisher信息矩阵的新指标来估计专家路由对扰动的敏感度，并将其与注意力权重结合进行上下文评分，同时融合稠密与稀疏MoE架构的逐出方法形成互补评分体系。实验表明，在仅保留10%KV缓存的激进压缩条件下，MoEZip在LongBench和RULER上平均分别比当前最优基线提升24分和20分，对应分数高出2.3倍和4.9倍，验证了路由感知压缩在MoE长上下文场景中的有效性。
🔑 关键词速览
| Mixture-of-Experts (MoE) | 一种模型架构，每个输入词元仅激活部分专家网络，从而在保持计算效率的同时扩展模型容量。 |
| KV Cache | 自回归生成中缓存键值对以避免重复计算，但其大小随序列长度线性增长，成为长上下文推理的内存瓶颈。 |
| Routing-Aware | 指在压缩或优化过程中考虑专家路由（即词元选择哪些专家）的影响，以保持生成质量。 |
| Fisher Information Matrix | 一种衡量模型参数或分布对扰动敏感性的统计量，此处用于估计路由分布对扰动的敏感度。 |
| KV Eviction | 从KV缓存中移除部分键值对以压缩缓存，但可能影响后续的专家选择和生成质量。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅