固定预算下预训练微调怎么分？新理论首次刻画最优计算分割！
Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent
📖 AI 总结
这篇论文研究预训练与微调之间的计算分配问题：在固定总训练预算下，用于改进上游目标的算力越多，留给下游适配的算力就越少。作者以带正则的最小二乘、用梯度下降训练作为可解析的设定，将这一权衡形式化为两阶段预训练—微调过程中的计算切分问题，并刻画了在微调问题所诱导的数据依赖评估几何下的最优切分。结果表明，最优分配取决于预训练方向如何影响微调预测，以及微调偏移如何被下游数据几何所观察，其关键量由预训练与微调经验协方差中与预测相关的谱成分决定。技术上，分析依赖基不变的、特征空间层面的谱分解，以及对不可交换的预训练与微调动力学的扰动控制。该工作为理解预训练—微调算力分配提供了理论依据。
🔑 关键词速览
| 计算分割问题 | 在固定总计算预算下，如何将计算资源分配给预训练和微调两个阶段的问题。 |
| 正则化最小二乘法 | 一种线性回归方法，通过添加正则化项防止过拟合，本文用作理论分析的可处理模型。 |
| 数据依赖评估几何 | 由下游微调数据分布所决定的评估度量空间，影响模型预测的误差衡量方式。 |
| 谱分解 | 将矩阵分解为特征值和特征向量的方法，用于分析协方差矩阵的预测相关分量。 |
| 微扰控制 | 一种数学技术，用于分析非交换动力学中微小扰动对系统行为的影响。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅