这篇论文关注扩散模型数据点遗忘中的一个被忽视的失效模式。现有评估通常只在每次删除操作后立即检验遗忘效果,但实际场景中模型会因后续删除请求而被反复更新。作者发现,某些最初被判定为已遗忘的样本,在未重新使用被删数据、也未遭受对抗性微调的情况下,会随着后续删除操作重新回到被记忆的状态,他们将这一现象命名为“序列性重现”。为刻画该行为,论文提出一种目标级评估协议,追踪每个目标样本是立即被遗忘、在序列结束时仍保持遗忘,还是在后续删除过程中重新出现。研究进一步发现,那些后来重现的目标在删除后表现出比持续遗忘目标更尖锐的局部去噪损失几何特征。该工作揭示了当前扩散模型遗忘评估在时序维度上的盲区,并为更稳健的遗忘方法设计提供了诊断依据。
| 扩散数据点遗忘 | 指从扩散模型中移除特定训练数据点影响的技术,旨在使模型不再记忆或生成该数据。 |
| 顺序重现 | 一种失败模式,指已删除的数据点在被判定遗忘后,随着后续模型更新又意外恢复记忆的现象。 |
| 目标级评估协议 | 一种评估方法,针对每个待遗忘目标单独追踪其遗忘状态在多次删除操作中的变化。 |
| 去噪损失几何 | 描述扩散模型去噪损失函数在参数空间中的局部形状,如尖锐度,反映模型对特定数据的记忆程度。 |
| 对抗性微调 | 一种通过恶意微调使模型重新学习已删除数据的方法,常用于测试遗忘的鲁棒性。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅