实测隐私漏洞大减！DP-SGD新防御零理论代价，性能还稳了
Revisiting the Provable-Auditable Privacy Gap of DP-SGD
📖 AI 总结
本文重新审视了差分隐私随机梯度下降（DP-SGD）在理论隐私保证与实际可审计隐私之间的差距。传统上，差分隐私提供算法稳定性的理论上界，而近年来的隐私审计研究通过构造经验性区分事件来给出隐私的下界，已有研究在多种威胁模型下实现了与理论上界几乎匹配的经验下界，对DP-SGD的理论隐私分析松弛性持悲观态度。作者提出将经验隐私下界作为与理论上界互补的优化指标，并设计了一种轻量级防御框架，可通用地增强机器学习流水线中的优化方法，在标准基准上显著提升经验隐私水平。该框架在增强DP-SGD时不会牺牲理论隐私保证，区别于此前针对成员推断攻击的防御方案。作者在多种审计构造、模型和数据集上进行了评估，验证了方法的灵活性和有效性。
🔑 关键词速览
| DP-SGD | 差分隐私随机梯度下降，一种在训练过程中添加噪声以实现差分隐私的优化方法。 |
| Differential Privacy (DP) | 差分隐私，一种提供算法输出对单个数据点变化不敏感的理论保证的隐私模型。 |
| Privacy Auditing | 隐私审计，通过构造区分事件来经验性地估计算法真实隐私下界的方法。 |
| Empirical Privacy Lower Bound | 经验隐私下界，通过实际攻击或审计方法测得的算法隐私损失的最小估计值。 |
| Membership Inference Attack | 成员推理攻击，一种通过模型输出判断特定数据是否在训练集中的攻击方式。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅