🔥 今日值得一读
一个字典管50步去噪和4个U-Net块，违规生成从139直降到1！
SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
👨💼 主理人解读 · 为什么值得关注
可用于扩散模型的概念定位与编辑，开发者能借统一字典跨层跨时间步干预生成内容。
📖 AI 总结
扩散模型中的概念表征会随网络深度和去噪时间发生漂移，但现有稀疏自编码器只能提供逐模块或逐时间步的字典，缺乏统一的特征字典用于定位与干预。针对这一问题，作者提出SharedSAE，在SDXL 1.0的四个U-Net注意力模块和全部50个去噪步骤上共享同一稀疏字典。为应对跨模块与跨时间的分布差异，方法引入模块特定的低秩输入适配器对齐各模块残差分布，并通过含共享时间步分支与模块-时间步校正分支的时间条件模块吸收时间非平稳性。实验表明，尽管字典跨越两个维度，仍保持结构一致性；基于该字典的局部特征抑制将I2P检测器阳性子集中NudeNet判定为阳性的人数从139降至1。沿轨迹追踪稀疏特征还发现，生成过程中概念表征会在U-Net模块间重新分配，随去噪推进从最早的降采样模块向中间及更晚模块转移。该工作为扩散模型提供了统一、可解释且可干预的表征空间。
🔑 关键词速览
| SharedSAE | 共享稀疏自编码器，一种在扩散模型多个U-Net块和去噪时间步之间共享稀疏字典的方法。 |
| 稀疏字典 | 稀疏自编码器学习到的过完备基，用于将激活表示为少量基向量的线性组合。 |
| U-Net | 扩散模型中常用的编码器-解码器网络架构，具有跳跃连接，用于逐步去噪生成图像。 |
| 去噪时间步 | 扩散模型逆向过程中从纯噪声逐步恢复图像的离散时间步骤。 |
| 概念擦除 | 通过干预模型内部表示来移除或抑制特定概念（如裸露内容）生成的技术。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅