山东大学余国先团队 | 个性化联邦小样本节点分类：基于参数解耦与节点增强的联邦学习
文摘
科技
2025-01-04 12:00
北京
![]()
![]()
研究团队
赵云峰、余国先、王峻、郑永清：山东大学
何心童：新加坡国立大学
Carlotta Domeniconi：美国乔治梅森大学
文章下载
Yunfeng Zhao, Xintong He, Guoxian Yu, Jun Wang, Yongqing Zheng & Carlotta Domeniconi. Personalized federated few-shot node classification. Sci China Inf Sci, 2025, 68(1): 112105, doi: 10.1007/s11432-024-4254-5
![]()
个性化联邦学习作为一种重要的分布式机器学习范式，旨在非独立同分布的场景中为各个客户端训练个性化的模型，在数据不可见、模型可见的原则下保护用户数据的隐私安全。然而现有的个性化联邦学习方法通常对多样化的客户端采用统一的分类层，这导致了预测错误。特别在分布式网络数据场景中，客户端之间的任务异构性更加显著，预测错误的情况更为严重。虽然一些解决方案为每个客户端设置特定的分类层，但由于本地训练数据有限，其训练效果受到制约。为了解决这些问题，我们提出了基于参数解耦与节点增强的联邦学习方法（FedPANO）来解决个性化联邦小样本节点分类问题。具体而言，FedPANO首先将本地模型分离为图神经网络（GNN）和分类器，用以处理客户端之间的任务差异。GNN通过联邦学习训练，以捕捉客户端之间网络节点的共享知识，而分类器则为每个客户端量身定制并单独训练。此外，FedPANO还引入了一个通用分类器，以鼓励GNN对共享信息的学习。接着，FedPANO进一步提出了节点生成器及其本地和协作训练策略，以应对客户端节点稀缺的问题。(1) 本文研究了一个实际且具有挑战性的个性化联邦学习问题，其中客户端具有异构任务，但训练节点稀少，即个性化联邦小样本节点分类问题，并提出FedPANO方法来解决这个问题。(2) FedPANO首先将本地模型解耦为GNN和分类器，以处理客户端之间的任务差异。它在联邦学习框架内训练GNN，以捕捉客户端之间的共性知识，同时为每个客户端定制和单独训练一个特定的分类器，以应对客户端之间任务的差异性。(3) FedPANO还精心设计了一个针对每个客户端的节点生成器，结合本地和协作训练策略以解决网络节点稀缺的问题。![]()
图1 FedPANO算法框架流程图
本文使用了4个网络基准数据集（DBLP, Cora-full, Amazon-C and Fold-PPI）进行实验，将FedPANO与8个对比方法进行比较。广泛的实验结果表明了FedPANO在处理任务异构性和稀缺训练网络节点方面的有效性，显著提升了分类准确性。图2 实验结果对比图，展示了所提方法与现有技术在个性化联邦小样本节点分类任务上的性能对比。FedPANO为每个客户端学习一个节点生成器以合成节点。为进一步评估其有效性，我们可视化这些合成节点（圆形）、原始训练节点（方形）和测试节点（三角形）。如图3所示，合成节点通常聚集在真实训练节点附近，与其表现出轻微的差异。这一过程丰富了小样本训练节点的特征和多样性，从而提升了下游分类器的性能。![]()
图3 四个客户端上的合成节点（圆形）、训练节点（方形）和测试节点（三角形）的可视化（不同颜色代表不同的类别）。合成节点通常聚集在真实训练节点附近，与其表现出轻微的差异。
![]()
![]()
![]()
