作者: 徐睿辰
研究背景与问题
联邦学习(Federated Learning)是一种广泛研究的学习范式。通过联邦学习，客户之间可以协作进行模型训练,而无需共享他们的本地数据。尽管联邦学习具有去中心化功能，但它仍可能泄露客户的隐私信息（例如成员推断攻击(membership inference attack)和数据重建攻击(data reconstruction attack)）。近年来,差分隐私(Differential Privacy)被引入联邦学习作为一种保护机制, 提供了严格的隐私保护。更具体地说,客户端在发送梯度到服务器之前,根据其对隐私泄露的最大容忍度(即隐私预算)向梯度添加噪声。
尽管如此,受差分隐私保护的客户仍然面临一定程度的隐私泄露。若没有隐私补偿机制,客户们将不愿意参与联邦学习。因此,在差分隐私联邦学习中, 服务器需要设计客户端选择和隐私补偿机制是决定哪些客户需要激励以及如何补偿他们的隐私泄露。其中，客户选择机制决定了每次迭代中哪些客户参与联邦学习训练。通过这样做,服务器平台决定了客户的数据贡献程度。此外,隐私补偿机制决定了服务器平台从客户那里获取多少隐私预算。基于隐私补偿机制,服务器支付给客户一定的金额,以获取他们的隐私预算。值得注意的是,由于客户选择和隐私补偿是相互耦合的,因为客户的隐私泄露会随参与频率的增加而增加。因此,服务器需要共同设计客户端选择策略和隐私补偿机制,以平衡客户的数据贡献和隐私成本。
然而,这种联合设计面临几个技术挑战。首先,当客户的数据是非独立同分布且客户的隐私敏感性异构的情况下,如何建模客户端选择策略和隐私补偿机制如何影响服务器的收益是一个挑战。对于一个客户而言,他对全局模型的数据贡献并不会随参与频率的增加而单调增加,因为频繁参与可能会使得模型学习到的数据分布发生偏移。此外,由于联邦学习的迭代性,一个客户的隐私成本取决于他对隐私泄露的敏感度和参与频率。
研究方法
本文考虑用户的效用函数为平台给用户的金钱激励与隐私成本之差，即：
服务器平台的效用函数为
服务器平台旨在设计一种隐私补偿机制，以最大化自己的效用。其中，所设计的隐私补偿机制需要满足以下性质：
1.激励相容(Incentive compatibility)：
2. 个体理性(Individual rationality)：
研究结果
通过解决机制设计优化问题，我们得到一种联合用户选择和隐私补偿机制JSAM(Joint Selection and compensation Mechanism)。图1显示, 所设计的隐私补偿机制JSAM(Joint Selection and compensation Mechanism)在总货币成本较小的情况下(货币成本约0.4和货币成本约5)能获得显著较低的测试损失。具体地，在隐私敏感度均匀分布在0到1之间的情况下，JSAM在约0.4的货币成本下将测试损失降低了81.7%。该最优用户选择和隐私补偿机制可以有效提高模型表现。这个结果表明，JSAM能够在较低的货币成本下实现更好的模型性能。这说明联合设计客户端选择策略和隐私补偿机制的重要性，可以帮助服务器在平衡数据贡献和隐私成本之间找到更好的折衷。
图1. 联合用户选择和隐私补偿机制的泛化误差仿真结果
论文信息
[1] R. Xu, Y. Zhang, and J. Huang, “Joint Client Selection and Privacy Compensation for Differentially Private Federated Learning”, IEEE INFOCOM FOGML, 2024.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
