🔥 今日值得一读
零阶微调大模型新突破：自适应采样让训练最高提速6倍！
Sample-Adaptive Zeroth-Order Post-Training
👨💼 主理人解读 · 为什么值得关注
开发者可在显存受限时用 SAZO 微调大模型，通过自适应采样降低零阶梯度估计方差，加快收敛。
📖 AI 总结
本文提出一种名为SAZO（Sample-Adaptive Zeroth-Order Optimization）的零阶优化方法，用于大语言模型的后训练微调。针对现有零阶方法均匀采样训练样本、忽视样本重要性动态变化并造成估计方差的问题，SAZO通过从已有的方向差分中提取梯度范数信息来在线估计样本重要性，并利用逐样本的指数移动平均聚合稀疏小批量反馈，从而自适应分配查询以加速收敛。该方法无需额外模型评估，相比MeZO仅增加O(N)的标量状态。理论分析表明，SAZO的收敛速度渐近匹配最小方差采样预言机的主导项，且严格快于标准方法。在四个模型系列上的实验显示，其平均下游性能提升，达到相同训练损失所需的查询次数最多减少6倍。
🔑 关键词速览
| 零阶优化 (Zeroth-Order Optimization) | 一种仅利用函数值（而非梯度）来优化目标函数的无梯度优化方法，常用于内存受限的大模型微调。 |
| 样本自适应 (Sample-Adaptive) | 指根据样本的重要性动态调整采样概率或查询分配的策略，以提高优化效率。 |
| 指数移动平均 (Exponential Moving Average) | 一种加权平均方法，赋予近期观测更高权重，用于平滑时间序列数据并跟踪趋势。 |
| 最小方差采样预言机 (Minimum-Variance Sampling Oracle) | 理论上的最优采样策略，能够最小化梯度估计的方差，作为算法性能比较的基准。 |
| MeZO | 一种内存高效的大语言模型微调方法，通过零阶优化和随机方向扰动来估计梯度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅