论文：https://arxiv.org/pdf/2405.04840
代码：https://github.com/Zhangcx19/IJCAI-24-FedPA
1. 研究动机
基础模型因其具备强大的泛化能力，已成为一种新的范式用以改善现有推荐系统建模。然而，有效整合基础模型和推荐系统面临两个严峻的挑战：第一，用户偏好通常是动态变化的，如何以合理的计算和通信开销及时更新基础推荐模型成为难点；第二，训练基础推荐模型需要统一收集用户数据，对用户隐私构成了严重的威胁。
2. 方法及论文主要贡献
论文提出一种基于基础模型的轻量级联邦推荐系统，在保护用户隐私的同时高效地训练推荐系统，实现对用户的个性化建模，模型结构如下图所示。
论文提出了一种个性化的低秩适配器，能够以轻量化的方式从用户和用户组两种粒度上同时学习用户个性化；此外，设计了一种自适应的门学习机制，能够有效整合用户个性化知识和通用知识，提升系统对用户偏好的建模能力。从而，系统能够在有效整合预训练模型蕴含的丰富知识的同时，保护用户隐私性。
具体来说，对于每个终端模型，对于预测函数的每一层，都为其整合一组用户级的低秩适配器和用户组级的低秩适配器，然后通过自适应的门学习机制对共享信息和个性化信息进行有机融合。在优化开始时，首先利用预训练好的模型对终端模型进行初始化。在优化过程中，终端只需更新和用户个性化建模相关的参数，即，用户嵌入、个性化适配器和自适应门学习机制，有效提升了计算效率，降低了通信开销。
论文的主要贡献可以被概括为以下三点：
首次提出了联邦基础推荐框架，该框架能够在保护用户隐私的同时有效整合预训练模型蕴含的丰富知识； 设计了一种个性化的低秩适配器，能够以轻量化的方式同时从用户级和用户组级两种粒度来建模用户个性化。此外，设计了一种自适应的门学习机制来动态学习权重，能够有效融合通用知识和用户个性化； 基于四个基准数据集进行实验验证，结果表明提出的方法相比于先进的对比方法具有显著的性能提升。此外，提出的方法在部署在计算能力有限的客户端上，以及加强联邦推荐系统中的用户隐私保护能力方面也表现出了出色的可行性。
3. 实验
对比分析实验：论文对比先进的对比算法，结果显示无论是否利用预训练模型初始化，论文提出的模型借助个性化建模机制都能取得比对比算法更优的性能。
低秩个性化分析实验：论文分析用户级低秩个性化和用户组级低秩个性化对模型性能的影响，实验结果显示，同时整合用户级个性化和用户组级个性化能够取得最优的性能。
通用知识对联邦优化的影响分析实验：论文分析了模型中不同模块蕴含的通用知识对模型性能的影响，结果显示，只固定商品嵌入模块和只固定预测函数模块都能够获得更好的性能，但是论文的方法同时固定两个模块依然取得不错的性能，而且显著提升了计算效率。
基于知识蒸馏技术的轻量级模型分析实验：考虑到在实际场景中，终端设备可能计算资源有限，论文验证在利用预训练模型之前先基于知识蒸馏技术缩小模型尺寸，以进一步缓解终端的计算开销，结果表明该方案不会有损模型性能，具有较强的可行性。
隐私保护增强实验：论文向模型中整合局部差分隐私技术来增强隐私保护能力。
4. 总结
论文提出了第一个基于基础模型的联邦推荐系统框架，从一个可靠的起点开始优化，利用预训练模型作为骨干。论文提出的方法基于本地数据为每个客户端学习个性化适配器，针对用户级和用户组级学习轻量化的低秩适配器，从互补的角度建模用户个性化。此外，论文设计了一种自适应的门学习机制，利用动态权重有效融合通用知识和用户个性化。通过在联邦优化期间仅更新用户特定的参数，显著降低了计算和通信成本。与先进的对比算法相比，充分的实验验证表明了FedPA卓越的性能。与此同时，通过从原始预训练模型中蒸馏出小尺寸的模型来解决在资源受限的设备上部署模型的挑战。此外，通过结合局部差分隐私技术来增强FedPA的隐私保护能力，从而在推荐性能和隐私保护之间实现了稳定的平衡。
欢迎干货投稿 \ 论文宣传 \ 合作交流
推荐阅读
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
由于公众号试行乱序推送，您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容， 请将本号设为星标，以及常点文末右下角的“在看”。
