数据-拓扑兼容性让去中心化学习无需显式个性化，就能实现轨道级个性化！
Data-Topology Compatibility Enables Personalization in Decentralized Learning
📖 AI 总结
本文研究去中心化学习中协作与个性化之间的平衡问题，提出“数据—拓扑兼容性”这一概念，用以刻画何种条件下合作能够自然形成统计上一致的个性化模型分组。作者证明，当各智能体的局部目标与通信拓扑具有（近似）兼容的自同构时，同一轨道内的智能体会收敛到（近似）相同的极限分布，而不同轨道之间则保持差异，无需显式引入个性化机制。这一发现揭示了一种介于全局共识与独立本地学习之间的新中间状态。在精确兼容情形下，作者将随机学习动力学分解为轨道层面与横向分量，给出分布同步的充要稳定性判据，并刻画轨道结构的稳态分布；在近似兼容情形下，将系统建模为ε扰动参考系统，证明误差在2-Wasserstein距离下具有时间一致且稳态的O(ε)界，并给出稳态平均超额风险低于独立本地训练与最优单一共享参数的充分条件。合成数据、MNIST与CIFAR-10实验均与理论一致。
🔑 关键词速览
| 去中心化学习 | 一种分布式机器学习范式，智能体在无中心协调下通过局部通信协作训练模型。 |
| 数据-拓扑兼容性 | 指局部目标函数与通信拓扑的自同构结构相匹配，使得轨道内智能体能够自然共享模型。 |
| 轨道级个性化 | 基于通信拓扑的轨道结构，同一轨道内的智能体共享个性化模型，不同轨道保持独立。 |
| 2-Wasserstein距离 | 一种衡量概率分布之间差异的度量，常用于分析学习动力学的收敛性。 |
| 平稳平均超额风险 | 模型在平稳分布下的平均风险与最优风险之间的差距，用于评估个性化学习的性能。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅