作者: 肖奕霖
研究背景与问题
大型语言模型（LLMs）因其在自然语言处理任务中的卓越性能而成为人工智能研究的热点。这些模型经过大量数据的预训练后，能够理解复杂的语言模式，并在多种任务中展现出惊人的能力。然而，预训练模型通常需要进一步的微调，以适应特定的应用场景和数据集。微调过程需要大量的计算资源，并且涉及到用户数据的隐私问题。传统的微调方法将数据上传到中心服务器，这不仅存在隐私泄露的风险，而且在计算和存储资源上也存在限制。
为了解决这些问题，研究者们提出了联邦学习的概念，它允许在本地设备上进行模型训练，而不需要将数据集中上传。但是，现有的联邦学习方法在处理大型模型时面临挑战，尤其是在资源受限的设备上。此外，随着企业对数据隐私保护的要求越来越高，如何在不泄露用户数据的前提下，有效地微调LLMs成为一个亟待解决的问题。
研究模型和研究方法
本文提出的TITANIC系统，是一种面向生产环境的联邦学习范式，专门针对LLMs的微调，其系统架构如图2所示。TITANIC通过以下步骤实现LLMs的隐私保护微调：
1.客户端选择：TITANIC首先需要确定哪些客户端将参与到微调过程中。这个过程涉及到一个优化问题，目标是选择计算能力和通信带宽资源充足的客户端，同时考虑到数据的分布和质量。客户端的选择不仅基于技术参数，还需要考虑到数据的多样性和代表性，以确保微调后的模型具有泛化能力。
2.模型分割：由于LLMs的规模庞大，单一客户端难以承担整个模型的微调任务。TITANIC将模型分割成多个部分，每个客户端只负责模型的一部分。这种分割策略需要精心设计，以确保模型的协同更新不会影响最终模型的性能。
3.隐私保护的微调：在客户端本地，使用其私有数据对分配到的模型部分进行微调。这一过程不涉及数据的传输，从而保护了数据隐私。
4.模型聚合：客户端完成本地微调后，将模型更新发送到中心服务器。服务器使用一种安全的聚合算法，将所有客户端的更新合并到全局模型中。
5.资源和隐私权衡：TITANIC系统需要在保证模型性能的同时，考虑到客户端的计算和通信资源限制，以及数据隐私保护的需求。
研究结果
通过在多个标准数据集上的实验，论文证明了TITANIC在保持数据隐私的同时，能够实现与中心化微调相当的模型性能。图3的实验结果显示，在不同规模的LLMs上，TITANIC显示出优越的训练性能和收敛速度。在模型精度方面，TITANIC能够保证微调后的模型与中心化训练的模型具有可比的性能。
图 3. TITANIC和中心式方法的性能对比
论文信息
[1] N. Su, Chenghao Hu, Baochun Li, et al., "TITANIC: Towards Production Federated Learning with Large Language Models," IEEE Conference on Computer Communications (INFOCOM), 2024.
写在最后
我们的文章可以转载了呢~欢迎转载与转发呦
想了解更多前沿科技与资讯？
点击上方入口关注我们！
欢迎点击右上方分享到朋友圈
香港中文大学（深圳）
网络通信与经济实验室
微信号 : ncel_cuhk
