VCG拟合残差几乎归零，新状态风险却暴涨几个数量级！RCPT用删除留一残差校准，零额外模型调用，分子图像生成全面回血。
Risk-Calibrated Proposal Transport for Finite-Particle Diffusion Steering
📖 AI 总结
本文研究扩散模型推理阶段的引导问题，即在不重新训练的前提下，通过调整噪声到数据的传输动力学来组合预训练专家或奖励信号。作者指出，Feynman-Kac校正依赖重要性加权序贯蒙特卡洛，其有限粒子表现取决于提议分布，而方差控制引导（VCG）虽能最小化经验对数权重速率方差，却可能在有限粒子情形下几乎消除拟合残差的同时，使新状态上的残差风险急剧上升，导致无权重生成质量下降或粒子坍缩加速。为此，作者提出风险校准提议传输（RCPT），利用删除式留一残差校准VCG更新中保留的比例，不增加模型调用，仅带来少量线性代数开销。实验覆盖二维棋盘分布、支架修饰、分子性质优化及类别条件CIFAR-10生成，结果表明RCPT能有效缓解有害的拟合更新，在分子与图像任务上相较未校准VCG改善多项终端指标。
🔑 关键词速览
| Feynman-Kac correction | 一种通过重要性加权校正来补偿提议分布与目标分布不匹配的方法，常用于序贯蒙特卡洛中。 |
| Sequential Monte Carlo (SMC) | 一类基于粒子模拟的蒙特卡洛方法，通过序贯重要性采样和重采样来逼近复杂分布。 |
| Variance-controlling guidance (VCG) | 一种通过拟合线性漂移校正来最小化经验对数权重速率方差的推理时引导方法。 |
| Risk-Calibrated Proposal Transport (RCPT) | 本文提出的方法，使用删除留一残差校准VCG更新中保留的比例，以减轻有害拟合更新。 |
| Wasserstein analysis | 基于Wasserstein距离的分析，用于界定分布之间的差异，此处用于分析未加权提议的终端误差。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅