仅15K参数，Meta新方法让CNN+ViT堆叠不再崩溃！
CORE-STACK+: Meta-Learning for Deep Stacked Generalization
📖 AI 总结
本文提出 CORE-STACK+，一种面向异构视觉骨干网络（CNN、ViT 及混合模型）深度堆叠集成的元学习预处理流程，旨在同时解决预测空间多重共线性导致的元学习器病态问题，以及朴素线性堆叠引发的校准崩溃。方法包含四个组件：基于中心核对齐的非线性冗余过滤器、参数量不足 1.5 万的可微元特征门、由 Marchenko-Pastur 信噪分解导出的谱自适应岭惩罚，以及替代逆 RMSE 启发式的拉普拉斯近似贝叶斯混合器。作者证明了同时涵盖预测冗余与元学习器容量的 PAC-Bayes 超额风险界。在六个基准上，该方法在 ImageNet-1K 提升 1.8% top-1，ImageNet-C 降低 4.2 mCE，ADE20K 提升 0.9 mIoU，COCO 提升 1.3 AP，同时减少 35%–57% 的保留模型和最多 41% 的推理 FLOPs，ECE 较深度集成改善 2.1 倍且无需事后温度缩放。
🔑 关键词速览
| Stacked Generalization | 堆叠泛化，一种集成学习方法，通过训练元学习器来组合多个基模型的预测。 |
| Multicollinearity | 多重共线性，指预测变量之间存在高度相关性，导致模型参数估计不稳定。 |
| Centered Kernel Alignment (CKA) | 中心核对齐，一种用于度量神经网络表示相似性的核方法，能捕捉非线性依赖。 |
| Expected Calibration Error (ECE) | 期望校准误差，衡量模型预测概率与实际准确率之间差异的指标。 |
| PAC-Bayes Bound | PAC-Bayes 界，一种泛化误差上界，结合了可能近似正确（PAC）学习和贝叶斯推理。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅