剪枝后预测集更小还更准？CPP把平均集合从10.1砍到8.6，15个任务赢13个！
Calibration-Preserving Pruning: Compression as a Reliability Contract
📖 AI 总结
该研究提出了一种名为“校准保持剪枝”（CPP）的方法，旨在解决模型压缩后预测集效率下降的问题。核心发现是，分割共形预测的边际覆盖率保证并不依赖于剪枝规则本身，而剪枝的关键挑战在于保持分数几何结构，以生成更小的有效预测集。CPP通过结合非一致性梯度显著性，并采用独立的剪枝、验证选择、共形校准和测试分割来实现这一目标。实验表明，在50%稀疏度下，CPP在DBpedia-14等大标签任务上效果显著，将平均集大小从10.1降至8.6，同时准确率从0.347提升至0.366。在15个数据集-稀疏度组合中，CPP-SparseGPT在13个组合中产生更小的集合，在11个组合中实现更高准确率。研究还发现，通用监督梯度解释了大部分性能提升，而阈值感知的候选标签CPP在明确准确率和离线计算成本下达到7.8的平均集大小。该方法的可迁移性在RoBERTa-base和Llama-3-8B上得到验证，但结论仅限于可靠性敏感的分类任务。
🔑 关键词速览
| Split conformal prediction | 一种无需依赖模型假设即可提供有限样本边际覆盖的预测方法，通过数据分割进行校准。 |
| Calibration-Preserving Pruning (CPP) | 一种剪枝方法，通过结合非一致性梯度显著性来保持分数几何结构，从而减小预测集大小。 |
| Nonconformity-gradient saliency | 基于非一致性分数的梯度信息，用于识别对预测可靠性影响重要的参数或结构。 |
| SparseGPT | 一种基于梯度信息进行大规模语言模型剪枝的方法，旨在保持模型性能。 |
| Wanda | 一种无需重训练的剪枝方法，根据权重和激活的乘积进行重要性排序。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅