让AI精准遗忘数据！新方法实现零误差遗忘，还能给数据点重新加权
Machine Unlearning for Gibbs Supervised Learning Algorithms
📖 AI 总结
该论文提出了一种针对Gibbs监督学习算法的精确机器遗忘方法，其核心思路源于带相对熵正则化的经验风险最小化（ERM-RER）变分框架。具体做法是：在以待遗忘数据集上的期望经验风险为目标进行最大化时，加入相对于原始算法的相对熵正则项，优化变量为模型上的概率测度，最终解出另一个Gibbs概率测度，即新的Gibbs监督学习算法。该方法保证精确遗忘，即新算法在分布上与直接在保留数据集上从头重训练所得算法完全一致。作为附带成果，作者建立了一个通过策略性选择参考测度和正则化因子来对ERM-RER中数据点重新加权的框架，精确遗忘只是其中将待遗忘数据点权重设为零的特例；更一般地，数据点可被上调或下调权重，用于控制Gibbs算法的泛化误差等目的，为经典的数据点重加权问题提供了构造性或对抗性的新视角。
🔑 关键词速览
| Machine Unlearning | 机器遗忘，指从已训练的机器学习模型中移除特定训练数据影响的技术。 |
| Gibbs Supervised Learning | Gibbs监督学习，一种基于概率分布的监督学习范式，模型输出为概率测度。 |
| ERM-RER | 相对熵正则化经验风险最小化，一种在经验风险最小化中引入相对熵正则项的方法。 |
| Relative Entropy | 相对熵，又称KL散度，衡量两个概率分布之间差异的非对称度量。 |
| Exact Unlearning | 精确遗忘，指遗忘操作后的模型分布与在保留数据上重新训练得到的模型分布完全一致。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅