稀疏系数不再手动调！训练自适应CSC让视觉识别鲁棒性大幅飙升
Training-Adaptive Convolutional Sparse Coding via Information Bottleneck for Robust Visual Representation
📖 AI 总结
本文提出一种训练自适应的卷积稀疏编码框架，用于鲁棒的视觉信号表示。传统卷积稀疏编码虽能抑制冗余并保留信号内容，但其稀疏系数通常固定且需人工选取。该研究利用FISTA算法展开卷积稀疏编码优化过程，将稀疏系数视为可微变量，与网络参数联合学习。从信息瓶颈视角看，该系数控制信息保留与压缩之间的权衡：稀疏项促进紧凑表示，重建项与任务损失共同保留任务相关信号内容。作者还引入一种无需标签的后训练策略，在主干网络参数固定的情况下，针对受损输入调整压缩强度。在CIFAR和ImageNet上的实验表明，该方法在干净数据识别上具有竞争力，并在多种输入扰动下显著提升了鲁棒性。
🔑 关键词速览
| 卷积稀疏编码 (CSC) | 一种利用卷积字典将信号表示为稀疏特征图的表示学习方法，能有效抑制冗余。 |
| 信息瓶颈 (Information Bottleneck) | 一种信息论原则，旨在平衡表示对任务信息的保留与对输入信息的压缩。 |
| 快速迭代收缩阈值算法 (FISTA) | 一种用于求解稀疏编码等凸优化问题的加速近端梯度算法。 |
| 训练自适应 | 指模型中的关键超参数（如稀疏系数）不再手动设定，而是通过训练自动学习调整。 |
| 无标签后训练 | 在固定主网络参数后，仅利用无标签数据调整模型部分参数以适应新输入条件的策略。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅