异步拆分联邦学习提速3.74倍、准确率涨3.26%！CoASFL双管齐下治不一致性
CoASFL: Coupled Consistency Optimization for Asynchronous Split Federated Learning
📖 AI 总结
本文提出CoASFL框架，针对异步分割联邦学习（SFL）中由系统异构与统计异构共同引发的两类耦合不一致问题展开研究：一是客户端之间的水平不一致，二是客户端与服务器之间的垂直不一致，二者叠加会导致激活表示偏差、模型发散和严重的客户端漂移。为此，CoASFL设计了动态激活合并机制，从异构客户端构建更一致的激活序列以缓解水平不一致；同时引入一致性感知的模型聚合机制，依据客户端参与频率和进度差距动态调整聚合权重以抑制垂直不一致，从而在激活层与模型层联合协调一致性、阻断异步训练中的不一致传播。在80台异构边缘设备测试床上的实验表明，该方法持续优于现有先进SFL方案，训练加速达1.61至3.74倍，异构场景下最终模型精度最高提升3.26%。
🔑 关键词速览
| Split Federated Learning (SFL) | 拆分联邦学习，一种结合模型拆分与联邦学习的分布式训练范式，用于在资源受限的边缘设备上训练大模型。 |
| Asynchronous SFL | 异步拆分联邦学习，允许客户端和服务器以不同步的方式更新模型，以缓解系统异构性导致的掉队者问题。 |
| Horizontal Inconsistency | 水平不一致性，指不同客户端之间在训练过程中产生的激活表示或模型更新上的差异。 |
| Vertical Inconsistency | 垂直不一致性，指客户端与服务器之间在模型更新或激活表示上的不匹配。 |
| Client Drift | 客户端漂移，指在联邦学习中由于客户端数据分布不同导致的本地模型更新方向偏离全局最优的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅