扩散模型选特征不再靠手调！Policy-Mask自动联合选时间步、模块、通道，ADE20K分割38.9 mIoU，CIFAR-100仅128维达75.4%！
Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks
📖 AI 总结
该论文针对从冻结扩散模型中为判别性任务选取中间特征这一难题展开研究。由于有用信号分散在去噪轨迹、网络深度和通道中，实际应用需同时确定时间步、模块和通道子集，而现有方法多依赖手工固定或仅优化少数超参数。作者提出Policy-Mask，一种以通道预算为条件、在下游目标上训练的策略，联合选择上述三者，并通过按子集基数归一化通道得分，使三个策略头保持可比尺度、稳定联合训练。在相同预算下，该方法在分割、分类和语义对应任务上均优于固定提取与特征过滤基线，在ADE20K上达到38.9 mIoU，CIFAR-100在128维下top-1为75.4%，SPair-71k上PCK@0.1为76.3。消融实验表明模块选择对下游精度影响显著，通道预算得分在保留256个通道时最高，为紧凑扩散表示提供了实用工作点。该方法还可推广至扩散Transformer架构。
🔑 关键词速览
| Policy-Mask | 一种预算条件策略，联合选择扩散模型中间特征的时间步、模块和通道子集以适配判别任务。 |
| 扩散模型 | 一类生成模型，通过逐步去噪过程从噪声中生成数据，其冻结的中间特征可用于下游任务。 |
| 通道预算 | 在特征选择中限制所选通道数量的约束，用于控制计算成本或表示紧凑性。 |
| 语义对应 | 在图像对之间建立语义上对应像素或区域的任务，常用于评估特征表示的质量。 |
| 扩散 Transformer | 使用 Transformer 架构而非 U-Net 的扩散模型，如 PixArt-Σ 和 SD3.5 MMDiT。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅