FL-Market:联邦学习中的私人模型交易市场

文摘   科技   2024-11-05 11:00   广东  


作者:罗易凡


(图片来自网络)

研究背景

在机器学习(ML)驱动的数据分析中,获取足够的训练数据往往是一大挑战,尤其是在数据隐私保护日益重要的今天。传统的数据交易方式需要集中化地收集数据,但此方式可能导致隐私泄露。而在现有的模型市场中,数据拥有者通常需要信任数据交易方(即“中介”)会保护他们的隐私数据。然而,这种信任假设在现实中难以实现,因为包括多家大型公司在内的许多机构都曾发生过数据泄露事件。本研究提出了一种基于联邦学习的模型市场——FL-Market,它结合本地差分隐私(Local Differential Privacy, LDP)技术,允许数据拥有者通过扰动后上传的数据梯度参与交易,同时保护其隐私。FL-Market为在数据隐私保护下的模型交易开辟了新的途径。


图1:模型交易与隐私保护

研究方法


FL-Market 的设计建立在联邦学习和本地差分隐私的基础上,通过拍卖机制与聚合机制保障了数据隐私、激励分配及模型精度的有效平衡。研究的主要创新点包括以下方面:
拍卖机制设计(DM-RegretNet):拍卖机制决定了数据拥有者的梯度扰动级别,以确保隐私保护并同时激励高质量数据的共享。每位数据拥有者可以报告其隐私偏好和接受的最大隐私泄漏阈值,DM-RegretNet 使用深度学习方法进行自动化机制设计,实现了基于隐私偏好的拍卖和定价,并确保每个参与者在自愿参与的同时最大化其收益。
聚合机制设计(OptAggr):聚合机制在数据拥有者上传的各梯度精度不同的情况下,优化了梯度的聚合方式。通过求解二次规划问题,OptAggr 可以计算最佳聚合权重,从而在保持隐私保护的前提下提高全局梯度的实用性。



图2:FL-Market的拍卖与聚合机制示意。


图3:FL-Market具体框架

研究结果


通过实验验证,FL-Market的拍卖与聚合机制展现了显著的优越性。在模拟的联邦学习场景中,DM-RegretNet相比传统方法更能精确地分配隐私预算,且在模型的准确性方面表现更好。OptAggr在各类隐私偏好场景中都能有效优化模型的全局梯度,使模型购买方获得了更高质量的模型,进而提升了数据市场的整体实用性。

在实际应用中,DM-RegretNet显著提高了数据拥有者对数据隐私的控制能力,确保了数据共享中的激励兼容性和个性化保护。在单一市场环境下,OptAggr机制能实现最优数据聚合;在面对大型竞争对手时,数据拥有者可以选择适度增加数据共享,确保模型性能的同时保证了自身的隐私。

图4:DM-RegretNet在模拟实验中的突出表现。


未来展望


FL-Market在数据隐私和模型交易之间建立了新的平衡,为ML领域的数据获取带来了突破性的创新。未来的研究方向包括在特定应用场景下验证FL-Market的可行性,以及在更复杂的博弈环境中优化隐私保护机制。FL-Market将为隐私友好型的数据共享和模型交易提供新的解决方案。


参考文献

[1] Zheng S, Cao Y, Yoshikawa M, et al. FL-Market: Trading Private Models in Federated Learning. IEEE BigData 2022.

写在最后

我们的文章可以转载了呢~欢迎转载转发

想了解更多前沿科技与资讯?

点击上方入口关注我们!

欢迎点击右上方分享到朋友圈

香港中文大学(深圳)

网络通信与经济实验室

微信号 : ncel_cuhk


网络通信与经济
介绍网络、通信和经济交叉领域的最新科研成果和活动 —香港中文大学(深圳)网络通信与经济学实验室
 最新文章