联邦学习被恶意客户端搅局？新研究直接算出梯度异构性收敛边界！
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
📖 AI 总结
该研究聚焦联邦学习中的梯度异质性问题，特别是对抗性客户端存在时对鲁棒聚合的影响。传统分析通常通过先验设定的梯度差异条件来控制统计异质性与对抗行为的交互，但这类上界可能过于保守，即使对最小二乘回归也如此。作者转而从线性与非线性回归的统计模型出发，在每轮使用新数据样本的条件下推导梯度异质性，并将诚实客户端真实模型参数间的差异、有限样本标签噪声与初始化误差分离开来。研究进一步证明，对于系数满足κ=O(f/n)的任意(f,κ)-鲁棒聚合器（其中f为对抗客户端数，n为总客户端数，且f/n<1/2），在经过明确的样本预热后即可保证收敛。该工作为对抗鲁棒联邦回归提供了更紧致的异质性刻画与收敛保证。
🔑 关键词速览
| 联邦学习 (Federated Learning) | 一种分布式机器学习范式，多个客户端在本地数据上训练模型，仅共享模型更新而不共享原始数据。 |
| 梯度异构性 (Gradient Heterogeneity) | 不同客户端由于数据分布或模型参数不同而产生的梯度差异。 |
| 对抗性客户端 (Adversarial Clients) | 在联邦学习中故意发送恶意更新以破坏全局模型训练的客户端。 |
| 鲁棒聚合器 (Robust Aggregator) | 一种能够抵御恶意更新的模型聚合方法，例如 Krum、Trimmed Mean 等。 |
| 样本预热 (Sample Burn-in) | 在收敛分析中，需要一定数量的初始样本使算法进入稳定阶段，之后收敛性才成立。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅