重复训练小数据集竟能超越大数据集！图像自蒸馏缩放定律被改写
Data Density Scaling Laws for Image Self-Distillation
📖 AI 总结
该研究针对图像自蒸馏模型，检验了现有缩放定律中"增加唯一样本数量提升性能、重复样本价值递减"这一假设。作者在Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet和YFCC15M等七个数据集上开展系统实验，发现样本重复对下游性能的影响并非平凡，且高度依赖数据集特性。在某些设定下，反复训练较小的随机子集反而优于训练更大的唯一样本集，这揭示了现有缩放定律的局限。为此，作者提出一种改进的Chinchilla式缩放定律，显式纳入唯一样本数量与每样本重复次数两个因素，为理解数据与算力的权衡提供框架，并在重复起主导作用的某些情形下改善了预测，但其收益在不同数据集间并不一致。研究还考察了子集选择与数据增强对下游性能的影响。
🔑 关键词速览
| 缩放定律 | 描述模型性能与数据量、计算量等资源之间关系的经验规律。 |
| 自蒸馏 | 一种模型训练方法，模型通过自身生成的软标签来指导学习，无需外部教师模型。 |
| Chinchilla风格缩放定律 | 一种强调模型参数量与训练数据量应等比例增长的缩放定律，源自Chinchilla模型的研究。 |
| 数据-计算权衡 | 在固定计算预算下，权衡使用更多唯一数据还是更多重复训练之间的取舍。 |
| 下游性能 | 模型在特定目标任务（如图像分类、检测）上的最终表现。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅