作者：罗冰
封面（图片来自于网络）
研究背景
作为融合了网络通信和分布式人工智能的新兴技术，联邦学习（federated learning）近年来被广泛认为是赋能未来智能网络、解决用户数据隐私性问题的有效技术手段，近年来得到学术界和产业界的广泛关注。然而，面向广泛部署的用户设备和层出不穷的智能应用，联邦学习高效优化算法的研究仍存在很多尚未解决的挑战。
研究问题
联邦学习在无线网络环境中的训练通常需要大量的用户设备参与，但受无线系统带宽和用户不稳定性（unstable）等制约因素限制，传统的联邦学习服务器通常需要通过基站从大量参与用户中均匀随机采样一部分来参与每轮的模型训练。然而，由于联邦学习的用户具有多维异构系统资源，包括数据量、数据分布，以及计算、通信速率等差异。这些异构的系统资源在均匀随机用户采样下彼此耦合、互相制约，严重影响全局模型的收敛时间。
图1 无线网络中异构用户采样下的联邦学习训练过程与无线带宽分配示意图
研究结论
针对上述技术问题，本文提出了模型快速收敛的自适应用户采样和带宽分配算法，来提升全局模型收敛的时效性。
首先，针对联邦学习用户的数据统计异构性（如数据量和数据分布），研究并建立了不同用户采样概率和全局模型收敛轮数的函数关系，为得到最优用户采样率以最小化模型收敛时间提供理论支持。其次，针对针对联邦学习用户的计算与通信资源的差异性，研究并提出了不同用户采样概率和平均每轮更新时间的函数关系，以及采样用户的最有带宽分配准则。最后，基于上述模型收敛轮数与平均每轮的更新时间的刻画，建立了联邦学习全局模型收敛下的总时间的非凸目标函数，并设计优化算法求解最小化总时间的最优用户采样概率。
图2 所提出的自适应联邦学习用户采样算法与其它采样算法在模型收敛上的时间对比
研究贡献
本文所提出的自适应用户采样算法能够有效提高全局模型的收敛时效性。相较于普遍采用的随机均匀用户采样或针对单一维度异构资源的优化算法，所提出的采样算法能够同时对联邦学习用户具有的多个多维的异构资源进行联合优化。经过团队前期自主搭建的异构多终端联邦学习原型测试验证，所提出的联邦学习自适应采样率算法所达到的模型收敛至指定阈值时间性能显著优于传统基于数据量或全部参与的经验采样算法。
作者简介
通讯作者：黄建伟教授
黄建伟教授现任香港中文大学（深圳）校长讲座教授和协理副校长（拓展事务），深圳市人工智能和机器人研究院副院长和群体智能研究中心主任。黄教授是IEEE Fellow，IEEE通信学会杰出讲师，科睿唯安计算机科学领域全球高被引科学家。黄教授现任 IEEE Transaction on Network Science and Engineering 的主编。
黄教授长期专注于网络优化，群体智能和经济学交叉领域的开创性研究，总共发表了7本英文学术专著，320多篇国际一流期刊和会议论文，谷歌学术总引用超过 15000。他的论文11次获得国际会议和期刊的最佳论文奖，包含2011年IEEE马可尼无线通信论文奖。他获得2014年香港中文大学青年研究学者奖，2009年IEEE通信协会亚太杰出青年研究学者奖。
第一作者：罗冰教授
罗冰博士现任昆山杜克大学（美国杜克大学与中国武汉大学合作创办）数据与计算科学助理教授。他于墨尔本大学获得博士学位，并在香港中文大学（深圳）与耶鲁大学从事联合博士后研究。攻读博士前，他曾在中国移动集团总部网络部担任多年的项目经理。他的主要研究兴趣是联邦学习与分析、无线通信网络、博弈论和优化理论。更多信息参见其个人主页：https://luobing1008.github.io/
第二作者：肖文力
肖文力于2023 年从香港中文大学（深圳）获得了工学学士学位。他目前正在卡内基梅隆大学的机器人技术研究所攻读机器人学硕士学位。他的研究兴趣主要包括敏捷机器人系统的自适应学习与控制。
第三作者：王世强博士
王世强博士现任美国IBM T. J. Watson Research Center研究员。他于2015年在英国帝国理工获得了博士学位。他主要从事分布式计算、机器学习、网络优化等相关方向的理论研究，以及在数据分析、边缘智能、物联网和未来的无线系统等多个领域的应用。王世强博士曾获得2021年IEEE 通信协会Leonard G. Abraham Prize, Best Young Professional Award等多个奖项。他目前担任IEEE Transactions on Mobile Computing和IEEE Transactions on Parallel and Distributed Systems副主编。
第四作者：Leandros Tassiulas教授
Leandros Tassiulas教授是耶鲁大学电子工程系John C. Malone讲席教授，他是IEEE Fellow和ACM Fellow，同时也是欧洲科学院院士。他在计算机和通信网络领域工作获得多个重要奖项，包括IEEE Koji Kobayashi computer and communications award，ACM SIGMETRICS achievement award和inaugural INFOCOM 2007 Achievement Award等。他目前的研究方向为下一代网络边缘的智能服务和架构上，包括物联网、传感网，以及量子网络。
论文信息
[1] B. Luo, W. Xiao, S. Wang, J. Huang, and L. Tassiulas, “Adaptive Heterogeneous Client Sampling for Federated Learning over Wireless Networks,” IEEE Transactions on Mobile Computing. 2024 February.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
