🔥 今日值得一读
预训练时隔离不安全概念，Pristine模型实现安全与质量兼得
Pristine Models
👨💼 主理人解读 · 为什么值得关注
可用于图像生成模型的安全部署，开发者能隔离不安全概念而不牺牲整体生成质量。
📖 AI 总结
本文提出了一种名为“Pristine Models”的新型文本到图像生成架构，旨在解决模型安全性与生成质量之间的权衡问题。传统方法要么因过滤训练数据而牺牲图像质量，要么通过事后概念遗忘来移除有害概念，但后者随着移除概念数量增加会导致灾难性遗忘。该研究的核心思路是在预训练阶段就将安全与不安全概念知识分隔到独立参数化的分支中，通过特殊的注意力机制实现知识分区，并在推理时直接断开不安全分支。在ImageNet上的实验表明，该方法在保持安全生成的同时，图像质量和文本对齐效果均优于仅用安全数据训练或事后概念移除的方案。研究进一步在更大规模、更多样化的CC12M数据集上验证了方法的有效性，证明其在大规模开放世界预训练场景中同样适用。
🔑 关键词速览
| Pristine Models | 本文提出的文本到图像生成架构，通过注意力机制将安全与不安全知识分离到独立参数分支，推理时可禁用不安全分支。 |
| 概念遗忘 (Concept Unlearning) | 一种事后处理方法，旨在从已训练模型中移除特定概念的知识，但可能随概念数量增加导致灾难性遗忘。 |
| 灾难性遗忘 (Catastrophic Forgetting) | 模型在学习新任务或移除特定知识时，突然丧失先前已学知识的现象。 |
| 文本到图像生成 (Text-to-Image Generation) | 根据文本描述生成对应图像的任务，是本文研究的核心应用场景。 |
| 注意力机制 (Attention Mechanism) | 神经网络中用于动态分配权重的组件，本文利用它鼓励安全与不安全知识在参数分支上的分离。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅