Sobolev正则化让得分差异估计稳如老狗，小样本性能碾压现有方法！
Sobolev Regularized Score Difference Estimation in Diffusion Models
👨💼 主理人解读 · 为什么值得关注
提出Sobolev正则化的分数差估计方法，提升扩散模型迁移学习与后训练中的分布适应精度。
📖 AI 总结
本文提出了一种基于Sobolev正则化的分数差估计方法，用于解决扩散模型中两个Stein分数函数之差估计的问题。分数差在迁移学习和基于扩散模型的判别器引导等后训练方法中具有关键作用，但现有估计器要么缺乏统计一致性，要么难以在高维场景下扩展。该方法通过Sobolev正则化确保估计的统计一致性，并在小样本条件下稳定训练过程。理论上，作者建立了收敛速率O(n^(-(s-1)/(d+2s-2)))，其中d为维度、s为密度平滑度，并给出了均方误差意义下的极小极大下界。实验表明，该方法在小样本场景下稳定性显著优于现有方法，在ECG信号生成的迁移学习任务中，其下游分类性能大幅超过非正则化估计器。该研究为高维生成模型中的分数差估计提供了兼具理论保证和实际效能的解决方案。
🔑 关键词速览
| Stein's score function | 斯坦得分函数，即概率密度函数的对数梯度，用于生成模型中的采样和估计。 |
| Sobolev regularization | 索伯列夫正则化，一种基于函数光滑性约束的正则化技术，用于提高估计的稳定性和一致性。 |
| score difference | 得分差异，两个概率分布的得分函数之差，用于迁移学习和生成模型调整。 |
| minimax lower bound | 极小极大下界，在统计估计中，任何估计器在 worst-case 情况下的最小误差下界，用于评估最优性能。 |
| transfer learning | 迁移学习，利用预训练模型的知识来适应新任务或新分布的技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅