论文:https://arxiv.org/pdf/2305.07866
代码:https://github.com/Zhangcx19/GPFedRec
1. 研究动机
现有的联邦推荐系统研究将各终端视作独立的个体,然而,推荐系统中的用户间往往存在着丰富的关联信息,且在中心化推荐系统中,基于图学习的推荐模型已经取得显著的效果。因此,借助用户间的关系图增强联邦推荐系统建模有望提供更好的推荐服务。
论文首先做了一组预研实验,验证用户关系图对联邦推荐系统的有效性。实验结果显示,随机生成的图会有损模型性能,基于交互记录构建的图能够达到更优的模型性能。然而,基于交互记录建图会暴露用户的隐私信息。因此,如何在不破坏用户隐私的情况下构建对联邦推荐系统有益的用户关系图是一个挑战性问题。
2. 方法及论文主要贡献
论文提出利用共享的模型参数构建用户关系图,并提出基于图的联邦聚合机制。具体来说,论文利用商品嵌入构建用户关系图,商品嵌入基于用户数据学得,蕴含了用户的特性,基于各终端局部更新的商品嵌入构建用户图,能够有效挖掘出用户间的关联,同时保障用户的隐私数据不被泄露。此外,借助用户关系图,论文提出在全局聚合中为用户学习用户特定的商品嵌入,从而增强系统对用户个性化的建模能力,模型结构如下图所示。
在每轮迭代中,每个终端只上传商品嵌入参数,然后服务器基于商品嵌入构建用户图,并基于图指导的聚合机制为每个用户学习用户特定的商品嵌入,同时计算出一个能够刻画流行偏好的全局商品嵌入。服务器将学好的两种商品嵌入都下发给终端,终端以全局商品嵌入作为下一轮迭代的初始化参数,以用户特定的商品嵌入作为终端商品嵌入的约束项。
论文的主要贡献可以被概括为以下四点:
提出了一种新的联邦推荐设置下的用户间关联挖掘方法,利用共享的商品嵌入构建用户间关系图,降低了用户隐私数据泄露的风险; 设计了一种图指导的聚合机制,能够学习用户特定的商品嵌入,促进了系统对用户的个性化建模,整体优化算法可以被有机融合进联邦优化框架GPFedRec; 提出的方法在五个推荐基准数据集上都取得了最先进的性能,此外,丰富的分析实验进一步验证了方法的有效性和隐私保护能力; 提出的图指导的聚合机制是一种简单有效的方法,能够作为一种便捷的插件有效提升现有联邦推荐方法的性能。
3. 实验
对比分析实验:结果显示,相比于先进的中心化推荐模型和联邦推荐模型,论文提出的模型能够达到最先进的性能。
消融实验:论文分析模型中的个性化评分函数和图指导的聚合机制(包括利用流行商品嵌入初始化,和利用用户特定商品嵌入做正则)对模型性能的影响。结果表明模型中个性化评分函数和图指导的聚合机制都是对性能提升有帮助的。
兼容性验证实验:论文利用图指导的聚合机制增强现有的联邦推荐模型。结果表明图指导聚合机制能够显著提升现有联邦推荐系统性能。
更多超参数和隐私增强分析实验详见论文。
4. 总结
论文提出了一种图指导的个性化联邦推荐框架,通过在服务器上构建用户关系图来发现用户之间的关联。为了避免潜在的隐私泄露风险,论文使用公共的商品嵌入构建用户关系图,无需收集私人交互数据。此外,论文采用图指导的聚合机制来学习用户特定的商品嵌入,增强了系统对用户偏好的建模。大量实验表明,论文提出的方法优于最先进的对比算法。此外,深入的分析实验验证了图指导的聚合机制具有很好的兼容性,以及集成了隐私保护技术的方法具有良好的鲁棒性,为在实际应用场景中部署隐私保护的推荐系统带来了希望。
欢迎干货投稿 \ 论文宣传 \ 合作交流
推荐阅读
由于公众号试行乱序推送,您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容, 请将本号设为星标,以及常点文末右下角的“在看”。
由于公众号试行乱序推送,您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容, 请将本号设为星标,以及常点文末右下角的“在看”。