科研成果速递!beat365手机中文官方网站教师王廷提出通过二阶优化方法进行无线联邦学习
发布时间:2022-07-10 浏览量:374

   联邦学习作为一种充满前景的学习范式,其可以在解决日渐增长的数据孤岛问题的同时保证数据的隐私安全。然而,在无线边缘场景下联邦学习会在资源有限的无线网络上产生大量面向任务的数据流量,造成严重的通信瓶颈。为了提升无线联邦学习的通信效率,现有的大部分研究工作都采用有着较慢收敛速度的一阶联邦优化方法,这会导致设备与服务器间的用于本地模型更新的通信轮数大大增加。




针对上述问题,beat365手机中文官方网站准聘副教授王廷的团队提出了一种基于空中计算(Over-the-Air Computation)技术的二阶联邦优化方法,以此可以同时实现联邦学习中总通信轮数的减少和全局模型聚合延迟的降低。本工作从无线通信场景下的联邦学习系统、训练方法、通信模型三个维度出发构建了一个新型的联邦学习框架,并在复杂场景下(如数据异构性、设备选择不确定性、无线信道噪声等)对其训练的收敛性进行了严格的数学证明和理论分析,然后基于收敛性分析结果设计了一种针对设备选择和波束赋形的联合优化方法。该工作一方面基于空中计算技术利用多接入信道中波束的叠加特性实现了低延迟的模型聚合,另一方面通过二阶算法的快速收敛特性大大减少了训练迭代轮数,有效解决了当前无线联邦学习方法所饱受的通信瓶颈问题。同时,通过所提出的联合优化方法进一步提升了训练的精确度。


该项研究联合了上海科技大学和瑞士École Polytechnique Fédérale de LausanneEPFL)等国内外高校。由硕士研究生杨芃为第一作者、导师王廷为通讯作者的相关研究成果,于619日以 “Over-the-Air Federated Learning via Second-Order Optimization”为题被国际高水平期刊IEEE Transactions on Wireless Communications(中科院一区)接收。该论文已在IEEE官方网站上线。


IEEE网站刊登研究成果


华东师范大学beat365手机中文官方网站
学院地址:上海中山北路3663号理科大楼

                上海市浦东新区楠木路111号
院长信箱:yuanzhang@sei.ecnu.edu.cn | 办公邮箱:office@sei.ecnu.edu.cn | 院办电话:021-62232550
Copyright Software Engineering Institute


XML 地图