近日，我院屈志昊副教授的研究论文“FedQClip: Accelerating Federated Learning via Quantized Clipped SGD”被计算机体系结构领域国际权威期刊IEEE Transactions on Computers（CCF A类国际期刊）录用并在线发表。我院屈志昊副教授为论文的第一作者、博士生贾柠晖为学生第一作者，叶保留教授为该论文的通讯作者，其他作者包括我院胡世红博士以及香港科技大学郭嵩教授。
该文针对现有联邦学习通信开销大、模型收敛慢的难题，提出了一种全新的联邦学习优化算法 （FedQClip）。FedQClip首先通过系统分析量化和梯度剪裁技术协同机理，建立了基于两者相结合的联邦学习优化模型，在保证模型收敛性的基础上有效降低了每轮通信的数据量；其次，从理论角度证明了在非独立同分布（Non-IID）数据场景下，FedQClip可达到与传统SGD方法相当的收敛速率，并有效解决Non-IID数据对模型优化的干扰；此外，还进一步界定了本地更新轮数的约束条件，给出了实现快速收敛的最优轮数范围，为联邦学习中本地更新的设计提供了理论依据。
在多个数据集（如MNIST、CIFAR10、Tiny-ImageNet）和多种模型架构（如ResNet、MobileNet）上的实验结果表明，FedQClip可提高通信效率3倍以上，且显著加快模型收敛速度。
《IEEE Transactions on Computers》是计算机体系结构/并行与分布计算/存储系统领域国际权威期刊之一，被中国计算机学会（CCF）推荐为A类国际期刊。
论文链接：
https://ieeexplore.ieee.org/document/10713249
图片 | 贾柠晖
编辑 | 刘霜盈
责编 | 陈祥 周俊睿
审核 | 黄扬
