🔥 今日值得一读
机器遗忘新突破：删除M条记录，噪声仅增(log M)²倍！
Minimax Gaussian Mechanisms for Continual Machine Unlearning
👨💼 主理人解读 · 为什么值得关注
面向需要合规删除用户数据的场景，可在不重训模型的前提下持续遗忘记录，同时保证发布模型序列难以被区分。
📖 AI 总结
本文研究在连续删除请求下如何高效更新已训练模型，使其统计特性接近完全重新训练，从而避免重复完整训练过程。作者基于高斯差分隐私及其自适应组合规则，为牛顿更新构建高斯机制，并推导牛顿近似相对于精确重训的误差上界及每批删除后误差的变化。研究对比了独立高斯噪声与高斯随机游走噪声两种校准方式：前者依据每次发布时的全残差界，后者利用更小的残差增量界，从而在GDP认证约束下最小化各次发布的最大噪声方差。结果表明，在基于计数的界下，随机游走噪声的渐近最坏方差与删除上限M处单次发布相当，而独立噪声则多出约M倍的因子；基于集合的界可利用被删除记录的梯度与海森矩阵进一步降低噪声方差。对于单条删除，作者证明计数型独立噪声、计数型随机游走噪声和集合型独立噪声在各自界下于固定高斯协方差类中是最小最大最优的；若允许方差随删除记录自适应调整，在某些数据序列上可较任意固定协方差提升约(log M)²倍。残差与噪声界还保证了参数和预测相对于精确重训的一致性，且该一致性在删除策略上均匀成立。模拟实验与信用违约数据分析验证了所提界、噪声方差及估计误差的表现。
🔑 关键词速览
| 机器遗忘 (Machine Unlearning) | 在训练数据被删除后，更新已训练模型以使其行为与在剩余数据上重新训练得到的模型一致的技术。 |
| 高斯差分隐私 (Gaussian Differential Privacy, GDP) | 一种差分隐私框架，使用高斯分布来刻画隐私损失，并具有便于组合分析的特性。 |
| 牛顿更新 (Newton Update) | 基于牛顿法（利用二阶导数信息）对模型参数进行更新的优化步骤，常用于经验风险最小化。 |
| 自适应组合 (Adaptive Composition) | 差分隐私中，当一系列机制按顺序作用于同一数据时，隐私损失可以累积计算的性质。 |
| 最小极大 (Minimax) | 一种优化准则，旨在最小化最坏情况下的风险或误差，常用于衡量估计或机制的鲁棒性。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅