📖 AI 总结

本文提出局部外观净化（LAP）方法，用于改进扩散模型中的表征对齐训练。传统对齐方法直接匹配预训练视觉编码器的特征，但未区分哪些信息对生成任务更有价值。LAP的核心思路是：在计算对齐目标时，先去除图像中可被局部预测的内容，仅对残差进行对齐，从而让编码器（如MAE）成为更有效的对齐目标。该方法仅修改对齐目标，不改变扩散模型的训练或推理流程。研究通过固定编码器下的受控实验发现，对齐效果取决于目标所强调的信息类型，而非图像信息量的多少。理论分析给出了标准对齐的变分解释，并在固定局部预测器条件下推导出基于局部外观的逐token信息上界之和。为解释不同编码器受益程度差异，作者提出一种精确的常数读出测试，衡量目标在不使用扩散模型隐状态时的可匹配程度。实验表明，LAP在MAE、AIMv2、CLIP、DINOv2、DINOv3五种预训练表征上均提升生成质量，其中MAE增益最大：在ImageNet-256上使用SiT-B/2，FID从53.1降至42.3。该增益在更强的对齐方案和分词器下依然保持。常数读出分数在扩散训练前即可计算，能预测净化带来的收益，跨13个编码器的Spearman相关系数达0.94。

🔑 关键词速览