技术应用丨联邦大模型在金融领域的应用研究

文  / 中国人民银行湖南省分行 张云基

1.从大模型到联邦大模型。人工智能的兴起可追溯到上世纪50年代，近年来，随着数据量的爆炸性增长和计算能力的提升，人工智能迎来了前所未有的繁荣。深度学习的出现，将人工智能推到了一个新的高度，其通过学习样本数据的内在规律和表示层次，让机器能够像人一样具有分析学习能力。随着深度学习的进一步发展，模型的规模和复杂度也逐渐增加，大量的数据和计算资源的可用性使得研究者能够尝试更大、更深的网络结构，大模型在这种背景下逐渐开始应用。

所谓大模型，通常指参数量庞大、层数较深的神经网络模型，拥有数十亿甚至上百亿个参数，其能够学习到更加丰富和抽象的特征表示，因此在各种任务中表现出色。大模型又称基础模型，是“大数据+大算力+强算法”结合的产物，需要大量的计算资源和存储空间来进行训练和存储，并且往往需要进行分布式计算和特殊的硬件加速技术。大模型通常在大规模无标注数据上进行训练，从而实现更强大、更准确的模型性能，以学习到更细微的模式和规律，具有更强的泛化能力和表达能力。

2021年8月，李飞飞和100多位学者联合发表了一份研究报告《On the OPPortunities and Risk of Foundation Models》，这是学界对大模型的首次正式研究，文中将大模型统一命名为Foundation Models，详细描述了当前大规模预训练模型面临的机遇和挑战。似乎加大参数量是大模型进一步突破的可行办法。2021年6月，阿里巴巴达摩院发布了万亿参数的超大规模多模态预训练模型M6，成为了国内首个实现商业化落地的多模态大模型。大模型真正引爆互联网是2022年11月ChatGPT的横空出世，其凭借逼真的自然语言交互与多场景内容生成能力，开创了智能对话的新时代。虽然当前涌现了一些改变人类生活的大模型，但也需要看到，大模型走向通用人工智能还有很长的路，目前来看，大模型有希望引领下一个重量级AI赛道。

现如今大模型已经能够覆盖自然语言处理、图像识别、语音识别等方面的任务，并在知识问答、医疗、金融、教育等领域展现出广阔的落地潜力。但是大模型在应用时依然面临两个瓶颈问题：一是在构建和使用大模型时的数据隐私保护问题，多个数据源联合训练一个大模型时极有可能会暴露每个数据源的用户隐私和影响信息安全；二是大模型在应用时，缺乏大量高质量的数据来进行训练以提升模型性能。

使用联邦大模型可以解决上述的问题，能够在保证数据隐私的情况下，联合多个数据源的高质量数据构建大模型，从而提升大模型应用的效果。联邦大模型是一种特殊类型的大模型，是在联邦学习的框架下构建和训练的大模型，其允许在多个数据源之间训练模型，而无需将数据集中到单个位置，联邦大模型的出现有助于构建安全合规的生态大陆。

2.联邦大模型的技术体系。联邦大模型是个很有前景的方向，为人工智能的发展开启了新的可能。联邦学习与大模型的结合是一种协同关系，两者结合能够为彼此提供独特的优势。一方面联邦学习可以扩展大模型可获取的数据，实现计算共享，降低了大模型训练过程的负担，在丰富数据多样性的同时保证数据隐私；另一方面，大模型的规模大、预训练知识储备大且性能出色，为联邦提供了好的起点，在非独立同分布数据下促进更快的收敛和更好的性能。

在联邦大模型中，联邦学习可以参与到大模型训练的整个生命周期，包括从预训练到微调再到应用。具体为，采用分布式训练，服务端可共享全局数据，各个客户端保存本地数据，并通过本地数据训练本地大模型，客户端根据一定的通信机制向服务端传输模型参数等数据，而后根据服务端回传的参数进行微调，逐步修改完善本地大模型。

联邦大模型进行预训练，将大模型的训练过程分布到多个参与者的本地进行，利用多个参与者的大规模分散数据集进行预训练。从客户端的原始数据开始，在本地进行大模型的预训练，在服务端接受各个客户端的梯度信息并通过聚合与计算回传到各个客户端。通过这样的协作学习，能够促进更稳健、更具广泛适应性的大模型的开发。

传统的大模型微调是在机构的专有数据集上执行，在机构合作时便无法进行。联邦大模型微调考虑了每个客户端特定的下游任务要求，整合客户端提供的增量数据，并利用来自多个客户端的监督数据进行联合多任务训练，微调后的大模型可以在各个客户端共享。这个迭代过程确保大模型保持最新、可适应，并能够应对不断变化的数据模式和挑战。

3.联邦大模型发展现状。当前，对联邦大模型的研究备受瞩目，例如，隐私计算联邦学习开源平台FATE已推出联邦大模型FATE-LLM功能模块，可以提供对主流大模型的支持，机构可以通过FATE内置的预训练模型进行横向联邦，利用各自隐私数据进行联邦大模型微调，从而提升大模型应用效果。Zoom则采用联合AI的方法，整合多个知名大模型，训练出来的联邦大模型在会议场景的性能上达到了GPT-4-32k的效果。

联邦大模型具有巨大潜力，使得分布式利用大模型进行下游任务成为可能，为不同机构之间合作知识共享赋予了新的可能性。在金融行业应用联邦大模型难点在于联合金融机构和明确应用落地场景，人民银行作为金融管理部门，具备联合其他金融机构的独特优势，可作为联邦大模型的中央服务器，将联邦大模型应用到反洗钱、金融风险防控等领域；金融机构作为联邦大模型的参与者，可通过联邦大模型使用其他金融机构的高质量金融数据，个性化构建大模型，如应用到智能金融客服、个性化金融服务等方面。

联邦大模型的核心在于统一和协作的机制，形成一个更强大的元系统，结合高质量的金融数据来训练模型，可以以更低的成本实现更强的模型能力。金融数据一直是各金融机构的核心资源，由于竞争、隐私保护等一系列因素，金融机构通常只能使用自身的数据构建大模型，而使用联邦大模型即可解决当前金融领域应用大模型的难题。

1.高效助力反洗钱。当前，反洗钱的监测主要依赖于各商业银行自身的系统，这些系统通常基于规则引擎、机器学习模型和人工审核等技术手段。虽然这些方法可以在一定程度上监测和防范洗钱活动，但由于数据孤岛和信息壁垒的存在，以及洗钱手法的不断演变，这些系统往往难以捕捉到洗钱活动的新特征和模式。人民银行作为反洗钱的行政主管部门，引入联邦大模型可以有效弥补当前商业银行各自为战的不足。人民银行作为中央服务器建立起联邦反洗钱大模型，可以整合多个银行的数据和模型，根据商业银行在本地训练的模型不断进行微调，从而在更大的范围内更加全面、深入地监测和预防洗钱行为，实现跨机构、跨地域的洗钱风险监测和分析。这种集中式的反洗钱大模型能够充分利用各银行的数据资源，发现潜在的洗钱模式和异常交易，从而提升反洗钱监管的精准度和时效性。这不仅有助于减少洗钱风险，也能够提升金融体系的稳定性和可靠性，为金融市场的健康发展提供坚实保障。

2.精准识别金融风险。金融作为现代经济的核心，其稳定与健康对整个社会的发展至关重要。然而，金融活动的复杂性导致了众多的风险因素存在，尤其是发生系统性金融风险可能对整个金融体系和经济造成严重危害。尽管我国正在积极推动人工智能在金融风险防控中的应用，但金融风险防范的信息化应用仍然是我国金融业的薄弱环节。在这样的背景下，利用联邦大模型来精准识别金融风险具有巨大的意义和潜力。联邦大模型能够汇聚来自不同金融机构的数据，从多个数据源获取包括交易数据、市场波动、资金流动等多个维度的数据。通过分布式学习和模型融合的方式，联邦大模型能够更全面地理解金融市场的情况，提高风险识别的准确性和全面性，实现对金融市场的全面监测和分析。联邦大模型通过实时数据进行风险监测和预警，随着新数据的不断进入，模型可以持续地更新和优化，及时反映金融市场的动态变化，并且由于联邦大模型的分布式架构，可以轻松地添加新的数据源和参与方，从而实现模型的高度可扩展性，适应不断增长和变化的金融数据，以应对不断变化的金融风险。

3.构建联邦金融大语言模型。ChatGPT的出现在知识学习领域掀起了新的浪潮，尽管生成式大型语言模型在其他领域已经取得了显著进展，但在金融领域，由于金融数据的特殊性和敏感性，确实存在数据量不足和数据质量参差不齐的问题。使用联邦大模型可以使用多个联合机构的高质量金融数据，以构建更高效的金融大语言模型。联邦金融大语言模型一方面可以应用到整个社会的金融知识学习，以知识问答系统的形式，个人可以随时随地获取关于金融领域的各种信息和解答，这将极大方便普通人对金融知识的获取和理解，有助于提高整个社会对金融领域的认知水平，促进金融素质的提升；另一方面可以为商业银行等金融机构提供更智能、更个性化的客户服务，通过整合多个金融机构的客户数据和模型训练，构建出一个智能客服系统，建立个性化用户画像，为客户提供更精准的产品推荐、投资建议、财务规划等服务。这不仅可以提升客户满意度和忠诚度，还可以帮助金融机构实现业务增长和效益提升。

4.金融市场分析与预测。金融市场的波动受到各种因素的影响，包括经济数据、政策变化、国际形势等，而不同金融机构可能拥有各自不同类型和来源的市场数据。通过建立联邦大模型，这些不同机构之间的市场数据都利用起来进行模型训练，无需将原始数据共享给其他机构，利用各自的数据来进行市场预测。在联邦大模型中，由于不同机构拥有的数据可能具有不同的特点和偏差，通过整合数据，各金融机构可以共同优化模型，能够更准确地预测金融市场的走势，更好地反映市场的真实情况，从而提高预测模型的准确度和鲁棒性。此外，联邦大模型还可以帮助金融机构更及时地捕捉市场变化和调整投资策略。通过实时共享和更新模型参数，各机构可以及时获取最新的市场预测结果，并且根据这些结果进行投资决策，从而更好地应对市场的波动和风险。

总之，联邦大模型在金融领域的应用可以帮助解决数据隐私和安全性等重要问题，促进金融机构之间的合作与创新，提升金融服务的水平和效率。当前金融大模型基本是一些大型的金融机构有实力去做，而中小银行由于缺乏足够的金融数据和资金支持而无法进行相关的研发，若在金融领域成功应用联邦大模型可以帮助中小银行跳出这些难题，对中小银行的数字化转型具有重要意义。

1.存在的挑战。目前来看，尽管联邦大模型还是一个很新的概念，但多模态联合发展的技术在未来是一个重要的趋势，然而在金融领域应用落地时，依然面临着许多的挑战。

一是数据隐私和安全面临的挑战。金融数据具有极高的敏感性，包括个人账户信息、交易记录、贷款信息等。即便是专为解决数据隐私问题而设计的联邦大模型，也面临着严峻的安全挑战。成员推理攻击和数据恢复可能对隐私数据构成威胁，敏感信息可以从大模型中提取出来，并且基于联邦大模型的隐私保护协议也有待开发。联邦大模型涉及多个机构之间合作，将多个客户端的数据融合到联邦大模型当中，需要解决可能由参与的客户端引起的潜在安全漏洞和攻击。

二是模型同步与更新面临的挑战。维护和部署大模型需要消耗大量的资源，在涉及多个客户端模型时，模型的同步与更新一方面需要考虑如何进行模型微调、模型之间的勾稽关系；另一方面需要在客户端和中央服务器之间传输模型参数或更新，通信开销也是一个重要的问题。并且人民银行需要协调不同参与方的数据更新频率，确保模型能够及时反映最新的数据情况。

三是模型的解释性和安全性。联邦大模型由于涉及多个参与方的本地数据，全局模型的参数是由这些本地模型参数整合而来的，难以直接解释模型的决策过程。在联邦学习的框架下，已经出现了各种攻击手段，如毒化攻击和对抗样本攻击，它们对联邦大模型的不同训练阶段产生不同的影响。毒化攻击可分为数据毒化攻击和模型毒化攻击。数据毒化攻击发生在数据收集的初始阶段，恶意者会向联邦数据集中引入损坏的数据样本。而模型毒化攻击则通过向全局模型注入恶意参数或梯度来破坏模型的完整性。因此除了不断改进联邦学习算法，提高其对抗攻击的能力外，还需要关注模型本身的安全性。

2.应用建议。近年来，中国金融业一直在推动人工智能技术应用，当前看来构建金融大模型对金融数字化转型具有极其重要的意义。基于金融行业的特殊性，金融领域通过应用联邦大模型技术使用海量的金融数据是不错的选择，以促进金融与科技更深度融合，推动金融数字化转型。

一是加强联邦大模型技术研究。联邦学习与大模型的交叉领域是一个很有前景的领域，联邦学习与大模型的结合已经引起了广泛关注，当前一些机构已经取得了一些进展。例如，联邦学习隐私计算开源平台推出了联邦大模型FATE-LLM功能模块，该模块支持至少30个参与方同时进行横向联邦学习，从而显著提高了模型效果和稳健性。联邦大模型的应用落地并不是一件简单的事情，非一朝一夕能完成，要在联邦学习的框架下构建大模型，需要进一步研究和优化模型融合算法，有效地整合来自不同参与方的模型更新，以提升整体模型的性能。

二是强化数据安全与隐私保护。必须确保使用联邦大模型涉及的用户数据得到充分的隐私保护和安全保障，在客户端与服务器进行通信时，可实施端到端的数据加密措施，确保数据在传输和存储过程中得到充分的加密保护，防止未经授权的访问和窃取。还可以对数据进行加密和噪声添加，以保护用户的个人隐私信息。在数据使用时，建立严格的数据访问控制机制，限制对敏感数据的访问权限，确保只有授权人员才能访问和使用数据。采用身份验证、访问审计等手段，监控数据的访问情况，及时发现异常行为。