密度估计提速翻倍！新噪声机制让隐私学习逼近非私有极限
Faster Learning under Relaxed Local Differential Privacy
📖 AI 总结
本文研究了一种在放宽的本地差分隐私（LDP）条件下的密度估计方法。作者提出，通过向每个敏感观测值添加服从对称Gamma分布的独立噪声，可以实现α-总变差距离下的隐私保护（α-TV-LDP）。理论分析表明，对于r阶Sobolev光滑函数，去卷积估计器在点态意义下可达到(nα)^(-(2r-1)/2r)的收敛速率（忽略对数因子），这一速率显著优于经典α-LDP下的(nα²)^(-(2r-1)/(2r+1))，并更接近非隐私情形下的最优极小极大速率n^(-(2r-1)/2r)。此外，作者利用Goldenshluger-Lepski程序构建了无需先验光滑度参数的自适应估计器，并证明了其最优性。实验部分采用神经网络估计器，无需在优化步骤中额外加噪，数值结果显示了相较于Laplace机制和私有SGD机制的显著性能提升。该研究为在隐私约束下实现更高效统计学习提供了新的理论框架和实用方案。
🔑 关键词速览
| Relaxed Local Differential Privacy (α-TV-LDP) | 一种放宽的局部差分隐私条件，要求私有化分布在总变差距离上与原分布α-接近。 |
| Deconvolution estimator | 去卷积估计器，用于从被噪声污染的观测中估计原始密度函数。 |
| r-Sobolev smooth functions | 具有r阶Sobolev光滑性的函数类，用于描述密度函数的平滑程度。 |
| Goldenshluger-Lepski procedure | 一种自适应带宽选择方法，用于在不了解平滑度的情况下实现最优估计。 |
| Private-SGD | 私有随机梯度下降，一种在优化过程中加入噪声以保护隐私的机器学习方法。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅