🔥 今日值得一读
70%稀疏度起显著更稳！LADDER逐层剪枝让大模型高稀疏下依然能打
Building a Nested LADDER for LLM Unstructured Post-Training Pruning
👨💼 主理人解读 · 为什么值得关注
高稀疏度下剪枝LLM时按损伤逐层分配稀疏度，能更稳地压缩模型，适合部署前的后训练剪枝。
📖 AI 总结
该论文提出LADDER方法，用于大语言模型训练后非结构化剪枝中的逐层稀疏度分配。其核心思路是逐步增加稀疏度：每一步评估从各候选层额外剪除一部分权重所带来的端到端性能损失，并选择“每移除一个参数造成损失最小”的层进行更新，从而生成非均匀稀疏度配置，并在多个稀疏预算下得到严格嵌套的掩码。研究以SparseGPT作为候选生成后端，在OPT、Llama和Qwen的五个模型上覆盖10%至90%稀疏度，与均匀分配和自适应分配基线对比。结果显示存在明显的适用区间权衡：在较低稀疏度下LADDER表现相当或略弱，但从70%稀疏度起显著更稳健；这一高稀疏度优势在五个模型中的四个经过后续蒸馏后仍基本保持，并体现为零样本准确率总体保留率的提升。
🔑 关键词速览
| LADDER | 一种逐层增量分配稀疏度的方法，通过损伤驱动评估选择每步最优的层更新。 |
| Post-training pruning | 在模型训练完成后进行的剪枝操作，用于减少模型参数和计算量。 |
| Sparsity | 模型中零值参数的比例，稀疏度越高表示被剪枝的权重越多。 |
| SparseGPT | 一种用于大语言模型的一次性剪枝方法，作为 LADDER 的候选生成后端。 |
| Nested masks | 在不同稀疏度预算下生成的掩码具有嵌套关系，即高稀疏度掩码包含低稀疏度掩码的非零位置。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅