多类逻辑回归训练竟按类别顺序学？新缩放定律揭示三阶段规律！
SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws
📖 AI 总结
该研究探讨了高维高斯混合模型下多分类逻辑回归的训练动态，并建立了交叉熵风险在梯度优化下的精确缩放规律。核心发现是学习过程按类别频率从高到低顺序进行；当类别先验服从幂律分布时，风险动态呈现三阶段特征：初始平台期、幂律衰减期（顺序学习发生）和最终收敛期。研究还分析了固定计算预算下模型容量与优化的相互作用：通过主成分投影限制有效维度时，风险可分解为容量项（随保留维度呈幂律）和优化项（随训练时间呈幂律），优化这一权衡可得出逻辑回归的计算最优缩放规律，明确给出模型大小和训练时间随计算量的最优配置。该成果将缩放定律从线性回归拓展至多分类任务，并与大规模神经网络的实证缩放规律相衔接。
🔑 关键词速览
| multiclass logistic regression | 多类逻辑回归，一种用于多类别分类的线性模型，通过softmax函数输出各类别概率。 |
| Gaussian mixture models | 高斯混合模型，一种概率模型，假设数据由多个高斯分布混合生成，常用于聚类和密度估计。 |
| scaling laws | 缩放定律，描述模型性能或风险随计算量、数据量或模型规模等变量变化的幂律关系。 |
| cross-entropy risk | 交叉熵风险，分类任务中常用的损失函数，衡量预测概率分布与真实标签分布的差异。 |
| power law distribution | 幂律分布，一种概率分布，其尾部按幂函数衰减，常见于自然和社会现象中。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅