负指数竟更优？21种预处理指数跨4环境揭示学习率耦合新规律
When the Preconditioning Exponent Turns Negative: Learning-Rate Coupling and Cross-Environment Generalization
📖 AI 总结
本文研究自适应优化器中预条件指数与全局学习率之间的耦合关系，以及这种耦合如何影响跨环境泛化能力。作者设计了一个包含稳定稀疏特征、环境相关虚假稀疏特征、稠密特征和高维噪声的四环境分类问题，在21个预条件指数和5个学习率组合下进行了受控实验。核心发现是：使跨环境准确率最大化的最优指数随学习率对数值近似线性下降，拟合斜率在-0.270至-0.300之间，R²高达0.972至0.996。在高学习率下，源域验证仍偏好正指数，而跨环境和最差环境准则则偏好负指数，揭示出模型选择上的系统性冲突。检查点分解表明，较低的指数能降低虚假特征和噪声相对于稳定特征的权重比。作者强调负指数并非普适最优，而是高步长分配 regime 的产物，且该结论基于单种子有限预算的机制研究，不宜作为广泛基准结论。
🔑 关键词速览
| 预处理指数 (preconditioning exponent) | 自适应优化器中二阶矩估计的幂次参数，控制更新步长的缩放方式。 |
| 跨环境泛化 (cross-environment generalization) | 模型在训练环境之外的新环境中保持性能的能力。 |
| 虚假特征 (spurious features) | 与训练环境中的标签相关但在其他环境中不稳定的特征，可能导致模型失效。 |
| 学习率耦合 (learning-rate coupling) | 预处理指数与全局学习率之间的相互依赖关系，共同影响优化行为。 |
| 模型选择冲突 (model-selection conflict) | 源域验证选择的模型与跨环境鲁棒性最优模型不一致的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅