本文提出一种面向异构分布式系统的个性化联邦分层高斯过程模型(pFedHGP),用于在数据分散于不同客户端时进行概率回归与分类。该方法将每个客户端的潜在函数分解为三部分:共享的全局成分、遵循全局核结构的客户端特定偏差,以及灵活的局部残差。通过稀疏诱导变量近似与联邦变分推断,原始数据始终保留在本地,服务器仅同步共享成分的低维统计量,从而在保护隐私的同时提供完整的预测分布以支持不确定性感知决策。在应用研究中,该模型仅使用13.77%的标注周期即在压力机吨位监测中实现完美的故障分类,并在联邦空气质量建模中恢复出地理分区,而无需集中各站点的时间序列数据。作者还从瞬时线性混合模型视角揭示了该分层结构与多输出高斯过程之间的联系,为相关传感器建模提供了理论支撑。
| 个性化联邦分层高斯过程 (pFedHGP) | 一种结合联邦学习与分层高斯过程的概率模型,允许客户端在共享全局信息的同时保留个性化局部特征。 |
| 稀疏诱导变量近似 | 一种降低高斯过程计算复杂度的方法,通过引入少量诱导点来近似全数据集的协方差结构。 |
| 联邦变分推断 | 在联邦学习框架下使用变分推断进行贝叶斯推理,各客户端本地计算并仅交换统计量以保护隐私。 |
| 瞬时线性混合模型 (ILMM) | 一种用于多输出高斯过程的混合模型,通过瞬时线性组合将多个相关输出分解为潜在独立成分。 |
| 异构客户端 | 指在联邦学习系统中,各客户端的数据分布、计算能力或任务目标存在差异的情况。 |
📱 每天一份 AI 前沿日报
关注公众号,每天 09:00 推送 · 不错过任何重磅