图片来源于网络
研究背景
作为一种新兴的机器学习范式，联邦学习（Federated Learning, FL）通过分布式方法进行模型训练；具体来说，联邦学习将数据保留在本地设备上，通过收集和聚合本地模型的参数更新来训练全局模型。由此，联邦学习带来了诸如保护设备数据隐私、降低通信开销以及充分利用分布式设备计算能力等的诸多优势。
近年来，关于联邦学习的研究通常聚焦于监督学习（Supervised Learning），其在学习过程中往往需要大量带有数据标注（Data Labels）的训练数据。以图像分类为例，图像训练数据中的对象需要被人类手动识别并注释为其图像数据标注。考虑到联邦学习不允许客户端上传或共享它的本地数据，因此，联邦学习的各个客户端需要手动标注它们的本地数据，然后才能基于标注数据进行模型更新本地计算。
然而，联邦学习人类客户端生成的数据标注往往容易出错，从而导致局部及全局模型产生错误。此外，数据标注的错误率通常因不同的客户端对标注任务的知识水平不同而产生差异。同时，数据标注的准确性还受到客户端为数据标注所做出的努力程度的影响。当客户端在数据标注上付出很多努力时，数据标注错误率通常会很低，而当客户端付出很少努力时（如随机猜测图像中的对象），错误率则会很高。
因此，在基于众包数据标注的联邦学习框架下，通常存在以下三点由于客户端策略性行为所导致的潜在问题：
[1] 联邦学习客户端进行本地数据标注时不付诸努力：尽管客户端的努力程度会影响其数据标注准确性，但对数据标注的努力是一种隐蔽行为（Hidden Action），即该行为及其程度只有客户端自己知道，联邦学习服务器无法观察与验证。因此，客户端可能会策略性地采取随意对本地数据进行标注的行为；
[2] 联邦学习客户端进行本地模型更新计算时付诸较少努力：作者提出以客户端在随机梯度下降中使用的小批量数据的大小（Mini-Batch Size）来量化客户端在本地模型更新计算中所付出的努力。同样的，由于这样的努力也是一种隐蔽行为，客户端可能会使用较少的小批量数据以减少本地计算中所使用的资源；
[3] 联邦学习客户端可能会谎报其本地模型更新参数：由于客户端基于本地数据进行更新计算得到的模型是仅为客户端自己所知道的，因此客户端可能会操纵模型更新参数（如增加或减少真实的参数）进行上报。
考虑到以上客户端的隐蔽努力行为以及私有化的本地模型，文章旨在设计一个联邦学习激励机制以鼓励客户端进行真实有效的努力同时上报真正的本地模型，从而鼓励客户积极参与联邦学习，并且确保能够获取具有较高准确性的全局模型，保证联邦学习的有效性能。
图1 数据标注
研究方法
作者提出了一个确保客户端付诸真实努力同时上报真正本地模型的联邦学习激励机制，其具体描述如图2所示。
图2 基于众包数据标注的联邦学习激励机制流程图
特别地，作者捕捉了客户端数据标注的过程，即每个客户端可以选择在数据标注过程中付出努力或者不付出努力；前者使得本地数据集中的数据标注是准确的，而后者使得数据标注是随机产生的。显然，基于准确标注的数据集进行训练所产生的机器学习模型将更加的有效且准确。关于本地模型计算，文章以客户端用于更新本地模型的小批量数据的大小来刻画客户端的本地计算努力程度。同时，作者指出基于较多的小批量数据进行本地更新将有利于联邦学习。关于本地模型上报，每个客户端则可能增加或减少本地模型的更新参数，这会影响联邦学习最终训练出来的全局模型性能。
针对于前述的诸多潜在问题，文章提出的联邦学习激励机制将在客户端进行数据标注与模型计算之前先进行任务分配。也就是说，联邦学习服务器事前将派发数据标注任务的努力需求，本地模型计算所需小批量数据的大小要求以及模型上报的真实性。同时，联邦学习服务器还将公布奖励函数；奖励函数不仅仅基于预设的任务分配与客户端的具体努力程度和上报参数，还将基于对最终的全局模型进行测试所获得的测试损失函数。文章的核心目标就在于在该机制下，客户端在满足个体理性（Individual Rationality, IR）的同时能诚实地付出努力并且真实地进行上报（Truthful Incentive Mechanism）。
研究结论
文章首先分析了联邦学习损失函数如何受到客户端数据标注努力、本地计算努力以及上报的本地模型的影响。特别地，作者刻画了损失函数的上界，并且分析该上界以指出客户端诚实努力与真实上报将有利于减小训练损失。基于此，作者刻画了其设计的激励机制的奖励函数与最优任务分配，同时证明该激励机制能够保障真实上报、诚实努力以及个体理性。
文章在提供理论分析的同时，还进行了基于真实数据的仿真以验证理论结论与所设计的激励机制的有效性。
图3 客户端策略对联邦学习损失函数的影响
图3调研了联邦学习训练损失在不同客户端数据标注与本地计算策略下以及不同上报模型下的变化。可以观察得到，联邦学习训练损失以及模型准确性在客户端诚实努力并真实上报时得到了最优化。这与前文关于损失函数的理论分析相一致。
图4 诚实努力与真实上报对客户端收益的影响
图4的仿真结果则表明了客户端的收益在诚实策略以及真实上报下总是高于进行一些欺诈或者操纵行为时的收益，同时诚实策略以及真实上报也能保证非负的收益。这与前文关于设计机制个体理性保障的理论结果相一致。最后，图5则围绕联邦学习服务器收益进行仿真分析，验证了所提出的激励机制中任务分配的最优性。
图5 本地计算任务分配对联邦学习服务器的影响
总结来说，文章首次聚集于基于数据标注的联邦学习框架，同时指出数据标注与本地计算努力以及模型参数上报共同带来的复杂影响。针对于此，作者提出了联邦学习激励机制设计以避免客户端的策略性偷懒或操作行为，从而有效保障联邦学习性能。
相关论文
[1] Zhao Y, Gong X, Mao S. Truthful Incentive Mechanism for Federated Learning with Crowdsourced Data Labeling. arXiv preprint arXiv:2302.00106, 2023.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
长按二维码关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济学实验室
微信号 : ncel_cuhk
