贝叶斯纵向联邦学习新框架：隐私保护下实现高维多元回归精准估计
A Bayesian Vertical Federated Learning Framework for Multivariate Reduced-Rank High-Dimensional Regression
📖 AI 总结
本文提出了一种面向多元高维降秩回归的贝叶斯纵向联邦学习框架BayesVFLReg，旨在解决纵向联邦学习场景中数据分布于不同特征方、且受隐私法规限制无法共享本地数据的难题。与横向联邦学习不同，纵向联邦学习下各站点无法独立拟合可比模型，简单拟合局部回归又会忽略变量间相关性。该框架让各参与站点使用共享随机草图矩阵将本地变量压缩为隐私保护草图，由中央服务器汇总后，采用高斯尺度混合先验进行贝叶斯多元降秩回归，并通过基于系数后验均值绝对值聚类的一步后处理策略实现变量选择。理论上，作者建立了拟合密度落入以真实密度为中心的Hellinger球内后验概率的非渐近界。模拟与真实数据分析表明，该方法在特征相关条件下仍能可靠识别稀疏特征效应，且具备良好的计算可扩展性。
🔑 关键词速览
| 纵向联邦学习 (VFL) | 一种联邦学习范式，其中不同站点拥有相同样本的不同特征子集，需要协作训练模型而不共享原始数据。 |
| 贝叶斯多元降秩回归 | 一种用于多元响应变量的高维回归方法，通过降秩假设减少参数数量，并在贝叶斯框架下进行推断。 |
| 高斯尺度混合先验 | 一种贝叶斯先验分布，通过将高斯分布与尺度混合分布结合，常用于高维变量选择中促进稀疏性。 |
| 随机草图矩阵 | 一种用于数据压缩的随机矩阵，通过将高维数据投影到低维空间，同时保持关键信息，常用于隐私保护。 |
| Hellinger球 | 在概率密度空间中，以真实密度为中心、半径为ε的球，用于衡量后验分布与真实分布的接近程度。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅