本文提出FADE,一种面向文本到视频扩散模型的多概念擦除框架,旨在从预训练模型中移除版权、暴力或色情等指定概念,同时保持模型在其他内容上的生成能力。针对现有方法存在的两个问题——帧无关抑制导致被擦除概念在个别帧中重新出现,以及通常仅针对单一概念评估——FADE先通过联合闭式键值编辑抑制所有目标概念,再训练逐概念的帧感知低秩适配器,其强度由帧索引和去噪时间步共同控制,以消除残余的逐帧泄漏;各适配器以其他目标的提示作为硬负样本训练,并通过基于相似度的软路由器按提示组合。在单一Wan2.1-T2V-1.3B骨干上擦除16个概念(物体、艺术风格和裸露内容)时,FADE将物体基准上的残余准确率降至4.9%,而八个基线中最强者为15.5%,同时VBench平均分与未编辑模型的差距保持在0.9%以内。该优势在VLM评判和盲测人类研究中排序一致,并可推广至多概念组合提示、30个同时擦除的名人身份以及Wan2.1-T2V-14B、CogVideoX-2B和HunyuanVideo-1.5等模型。
| 概念擦除 | 从预训练生成模型中移除特定概念(如物体、风格或敏感内容)同时保留其他生成能力的技术。 |
| 帧感知扩散擦除 (FADE) | 本文提出的多概念视频遗忘框架,通过帧索引和时间步控制适配器强度,消除逐帧泄漏。 |
| 低秩适配器 (LoRA) | 一种参数高效微调方法,通过低秩矩阵注入可训练参数,用于调整模型行为而不改变原始权重。 |
| 帧重新激活差距 | 指在视频生成中,被擦除的概念在个别帧中重新出现,而片段级平均指标无法检测到的问题。 |
| VBench | 一个用于评估视频生成模型质量的基准测试套件,涵盖多种维度的指标。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅