作者：汉鹏超
联邦学习与模型服务提供共存（图片来源于网络）
研究背景
近年来，人工智能应用不断涌现，通过将模型部署在离用户更近的网络边缘节点，能够以分布式的方式为用户提供低时延、高质量的智能应用。提供神经网络模型作为服务，本质上是通过模型推理处理用户的在线请求。此外，在利用神经网络模型为用户的推理请求提供服务的同时，在线智能应用能够周期性地利用收集到的用户数据对模型进行升级，提高模型性能。联邦学习（federated learning）能够实现分布式用户之间的合作模型训练，同时保证用户数据不出本地。联邦学习模型训练和在客户端的分布式模型推理都会消耗计算和通信资源。
研究问题
现有研究忽视了模型升级过程中模型训练和模型推理共存的问题，然而，客户端的计算和通信资源通常有限。因此，本文主要研究在客户端模型约束下，最大化客户端服务提供推理性能的联邦学习模型训练和推理的的联合优化问题。
图1 联合联邦学习和服务提供系统框架
研究方法与结果
本文提出了在线联邦学习与服务提供联合优化算法（FedLS）。针对客户端模型推理性能的数学表征较难的挑战，首先，我们推导了考虑客户端部分参与模型训练和非凸损失函数的的联邦学习收敛率上界。然后，我们定义了模型年龄来表征客户端模型相对于全局模型的新鲜度。我们允许客户端在不参与模型训练的时隙也能够从服务器端下载最新的全局模型，从而提升服务提供的性能。最后，我们联合考虑模型训练的收敛率和模型推理的新鲜度定义客户端提供服务的推理性能。
针对客户端服务提供推理性能函数的非凸特性和客户端在模型训练和推理过程中多个变量之间的耦合性挑战，我们将最大化用户服务提供的推理性能问题近似为在线决策问题，提出在线交替优化算法。算法在每一个时隙分别优化模型训练过程中每个客户端的参与概率和模型推理过程中客户端从服务器下载模型的概率和服务率，保证满足客户端平均资源约束和客户端服务提供的稳定性。理论上，我们推导了客户端资源约束的满足概率。在线性计算和通信资源成本下，计算出客户端每个决策变量（客户端参与联邦学习模型训练概率、客户端从服务器端下载模型的概率和对客户端推理请求的服务率）的闭式解。
FedLS算法包括多个离散的时隙，每个时隙的主要流程为：
客户端决策：首先，每个客户端通过FesLS算法决策本地参与联邦学习模型训练概率、从服务器端下载模型的概率和对推理请求的服务率。其次，根据本地参与联邦学习模型训练概率和从服务器端下载模型的概率结果，选择是否从服务器端下载全局模型（如果客户端参与模型训练，则须下载全局模型）。然后，客户端同时进行本地训练和服务提供；
客户端并行本地模型训练和服务提供：
客户端本地训练：参与模型训练的客户端进行本地模型训练；
客户端服务提供：对于客户端推理请求以决策得到的服务率进行模型推理；
服务器模型聚合：服务器对参与训练的客户端的本地模型进行模型聚合，完成本时隙模型训练。
图2 实验表明FedLS能够保证满足用户资源约束的同时，提升为用户提供服务的推理精确度
研究贡献
本文考虑了客户端资源约束下联邦学习模型训练和服务提供的联合优化问题。我们定义了客户端服务提供的模型新鲜度和推理性能，并通过在线优化算法实现满足客户端长期平均资源约束和服务稳定性，最大化客户端推理性能。在多个数据集上的实验结果表明所提出的FedLS方法能够提供客户端推理性能12%以上，同时能够降低客户端服务提供的排队时延。
作者简介
通讯作者：黄建伟教授
黄建伟教授现任香港中文大学（深圳）校长讲座教授和协理副校长（拓展事务），深圳市人工智能和机器人研究院副院长和群体智能研究中心主任。黄教授是IEEE Fellow，IEEE通信学会杰出讲师，科睿唯安计算机科学领域全球高被引科学家。黄教授现任 IEEE Transaction on Network Science and Engineering 的主编。
黄教授长期专注于网络优化，群体智能和经济学交叉领域的开创性研究，总共发表了7本英文学术专著，320多篇国际一流期刊和会议论文，谷歌学术总引用超过 15000。他的论文11次获得国际会议和期刊的最佳论文奖，包含2011年IEEE马可尼无线通信论文奖。他获得2014年香港中文大学青年研究学者奖，2009年IEEE通信协会亚太杰出青年研究学者奖。
第一作者：汉鹏超教授
汉鹏超博士现任广东工业大学副教授。她2021年于东北大学获得博士学位，期间曾于帝国理工进行访问交流，2021-2023年在香港中文大学（深圳）网络通信与经济实验室从事博士后研究工作。汉鹏超博士的主要研究方向为边缘计算、边缘智能、分布式学习和知识蒸馏。
第二作者：王世强博士
王世强博士现任美国IBM T. J. Watson Research Center研究员。他于2015年在英国帝国理工获得了博士学位。他主要从事分布式计算、机器学习、网络优化等相关方向的理论研究，以及在数据分析、边缘智能、物联网和未来的无线系统等多个领域的应用。王世强博士曾获得2021年IEEE 通信协会Leonard G. Abraham Prize, Best Young Professional Award等多个奖项。他目前担任IEEE Transactions on Mobile Computing和IEEE Transactions on Parallel and Distributed Systems副主编。
第三作者：焦阳
焦阳现为同济大学博士生，他于2020年获得中南大学学士学位。他目前的研究方向为：机器学习，分布式优化，嵌套优化。他目前以第一作者身份在人工智能领域顶级会议（NeurIPS、ICLR、AAAI）上发表多篇论文。
论文信息
[1] P. Han, S. Wang, Y. Jiao, and J. Huang, “Federated Learning While Providing Model as a Service: Jointly Training and Inference Optimization”. IEEE International Conference on Computer Communications (INFOCOM) (acceptance rate 19.6%), Vancouver, Canada, May 20-23, 2024.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
