🔥 今日值得一读
DiffusionART让扩散模型RL训练快12倍，无需调EMA也稳定！
DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models
👨💼 主理人解读 · 为什么值得关注
开发者可用它更稳定地对扩散模型做黑盒奖励微调，摆脱对 EMA 调参的依赖，提升训练可扩展性。
📖 AI 总结
该研究针对扩散模型在线强化学习微调中效率与稳定性难以兼顾的问题展开分析。作者指出，Flow-GRPO等逆向过程方法因信用分配不佳而效率受限，DiffusionNFT等前向过程方法虽高效，却依赖精心调参的指数滑动平均（EMA）离策略训练才能保持稳定。研究进一步揭示，NFT类目标函数隐含前向—逆向一致性力，正负样本联合训练只能部分抵消该力，而EMA的稳定作用实为恢复而非离策略采样。为此，作者提出DiffusionART方法，将每个提示词的奖励聚合为逆向过程状态共享的奖励改进方向，从构造上消除一致性力，并引入信任域掩码的二次更新以实现漂移自适应恢复，无需EMA调参。该方法不依赖可微奖励模型，在每提示词样本更少时仍有效，并支持成对奖励模型。在图像与视频生成任务中，DiffusionART无需逐任务调参即可高效稳定训练；在HunyuanVideo-13B上，其达到DiffusionNFT和Flow-GRPO-Fast后期平均奖励水平所需GPU小时分别减少12.02倍和11.72倍，平均训练奖励分别高出28.8%和53.0%。
🔑 关键词速览
| Flow-GRPO | 一种基于逆向过程的在线强化学习微调方法，通过黑盒奖励优化扩散模型，但信用分配效率较低。 |
| DiffusionNFT | 一种基于前向过程的扩散模型强化学习方法，效率高但需要精心调整EMA才能稳定训练。 |
| EMA | 指数移动平均，一种用于稳定训练的技术，通过平滑模型参数更新来减少波动。 |
| DiffusionART | 本文提出的方法，通过聚合奖励到共享方向并添加信任区域更新，实现高效稳定的扩散模型强化学习。 |
| HunyuanVideo-13B | 一个130亿参数的大型视频生成模型，用于评估DiffusionART在视频生成任务上的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅