研究 | 生成式人工智能训练过程的合规与治理

作者：吴卫明 

随着以chatGPT为代表的大模型日趋成熟，生成式人工智能（生成式AI）的应用也日益广泛。大模型对于自然语言的理解，使得生成式AI具备理解人类指令并输出相应生成合成物的能力，这种能力可以在很多领域辅助人类的工作。

当然，生成式AI在给人们带来便利和推进新经济模式发展的同时，也带来了伦理和社会公共利益问题。生成式AI可以被用于积极和正向的领域，但如果缺乏法律治理，生成式AI的应用也可能产生违法或其他损害社会公序良俗的不利后果。2024年，公安部发布了2023年深入推进“扫黄打非”工作的有关成果，其中就包括利用人工智能AI技术制作淫秽物品的新型犯罪。在部分网络诈骗犯罪案件中，犯罪分子利用深度伪造技术（deepfakes）生成人脸图像、视频、声纹等做法，也为诈骗活动提供了便利。此外，对于生成式AI应用可能产生的人群歧视、偏见等问题，以及虚假信息传播，也已经成为需要关注和治理的问题。

针对生成式AI可能带来的问题，各国也在积极进行立法规制。比如，2024年3月13日，欧洲议会通过了全球首部关于人工智能治理的综合性法规《人工智能法案》（Artificial Intelligence Act）。我国作为数字化与人工智能发展较为领先的国家，对算法服务及生成式AI的治理一直非常重视，也颁布了相应的监管规则。

我国当前并未在全国人大层面出台专门的人工智能立法，但出于我国立法机关对于新技术、新应用立法的通常做法，在新技术、新应用的社会影响被完整评估前，一般会通过国务院条例或者主管部门的监管规则（行政规章）结合相关国家标准的方式进行规制。从而可以在保护创新的同时，实施积极的规制，并避免因为仓促立法而影响法律的稳定性。

针对人工智能的应用，2021年9月，国家互联网信息办公室、中共中央宣传部、教育部、科学技术部、工业和信息化部、公安部、文化和旅游部、国家市场监督管理总局、国家广播电视总局共同发布了《关于加强互联网信息服务算法综合治理的指导意见》（简称《指导意见》）。《指导意见》提出了逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局的目标。并提出了构建算法导向正确、正能量充沛，算法应用公平公正、公开透明，算法发展安全可控、自主创新，有效防范算法滥用带来的风险隐患的算法生态。

2021年，国家互联网信息办公室发布的《互联网信息服务算法推荐管理规定》（简称《算法规定》）规定，“提供算法推荐服务，应当遵守法律法规，尊重社会公德和伦理，遵守商业道德和职业道德，遵循公正公平、公开透明、科学合理和诚实信用的原则。”

2022年11月25日，国家互联网信息办公室发布了《互联网信息服务深度合成管理规定》（简称《深度合成规定》），《深度合成规定》，则对应用深度合成技术的若干重要问题进行了规定。也规定了“尊重社会公德和伦理道德”以及“服务向上向善”的内容。

2023年7月10日，国家互联网信息办公室发布了《生成式人工智能服务管理办法》，（简称《生成式AI规定》）。《生成式AI规定》对生成式人工智能进行了界定，即生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。随着以美国Open-AI公司ChatGPT为代表的生成式人工智能产品的发展与推广，如何应对该种人工智能服务所带来的社会风险，成为监管关注的新问题。

2024年9月24日，国家互联网信息办公室发布《网络数据安全管理条例》，则将生成式AI的训练数据问题作为重点关注对象，该条例第十九条规定，提供生成式人工智能服务的网络数据处理者应当加强对训练数据和训练数据处理活动的安全管理，采取有效措施防范和处置网络数据安全风险。

2023年9月7日，科技部等部门发布的《科技伦理审查办法（试行）》，将人工智能算法、模型的开发列入了科技伦理审查的范畴。第十五条规定的伦理审查重点内容即包括“算法、模型和系统的设计、实现、应用等遵守公平、公正、透明、可靠、可控等原则，符合国家有关要求，伦理风险评估审核和应急处置方案合理，用户权益保护措施全面得当”。

总体而言，我国通过行政法规、规章等，已经对人工智能进行了较为系统的规制。从上述立法的演进来看，对于人工智能的法律治理重点也在不断优化。最早期的立法强调的是对人工智能算法进行综合治理，即从开发、应用、数据、社会危害的防范、伦理等角度进行综合治理。到了《互联网信息服务算法推荐管理规定》，则对于将算法应用于互联网信息服务的过程更为关注，在对算法进行分类分级的基础上，从数据安全、内容管理等方面进行了规制。而到了《生成式人工智能服务管理暂行办法》，除了前述规则的内容，还更为强调对于生成式AI模型训练的规制。

生成式AI的预训练、优化训练及数据标注，以及使用过程中根据测试环节或者人类反馈强化学习或者与人类认知对齐的过程，都可以被视为是广义的训练过程。这一过程中，从训练语料的获取到训练语料清洗与标注，再到训练语料的输入，以及有监督学习和调优，都与生成式AI的算法能力、算法合规管理以及算法输出内容的合规有关。某种意义上将，人工智能的训练过程，是人工智能实现合规的重要基础。因此，对生成式AI训练过程进行法律治理，是生成式AI合规的保障。

从生成式AI的治理目标来看，其目的在于”促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益”。但是，上述目标实现的具体内容，在《生成式人工智能服务管理暂行办法》中，则通过第四条的规定进行了细化和展开。具体包括：

其一、内容合法。即不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；

其二、反对歧视。在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；

其三、尊重知识产权。尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；

其四、保护个人权益。尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；

其五、内容准确可靠。采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

上述治理目标的实现，既包括通过对输入内容及生成物进行过滤、干预等使用过程中的安全措施，也包括在算法训练过程中的干预。由于训练过程决定了大模型或者生成式AI的基础能力，因而，训练过程的干预在算法合规治理中更为基础。

1、训练过程的数据输入是模型与算法安全性的基础

算法预训练数据的输入，一定程度上影响了生成内容。以chatGPT为例，GPT系列的模型都经过了无监督预训练阶段。这一阶段，通过对训练语料数据的学习，模型具备对于自然语言进行分析和预测，以及根据人类输入的提示词输出相应生成内容的能力。训练阶段的数据输入内容，将会影响生成内容。虽然对于这种影响的准确机制，尚无法进行说明和预测，也即所谓的“算法黑箱”机制，但是不同参数的共同作用，将会对模型以及模型生成物产生潜在的影响。

正是基于预训练数据可能对算法及生成物产生影响，对于预训练数据的管理，成为生成式AI算法训练监管的重点内容。

如《生成式人工智能服务管理暂行办法》第七条规定，生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：（一）使用具有合法来源的数据和基础模型；（二）涉及知识产权的，不得侵害他人依法享有的知识产权；（三）涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；（四）采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；（五）《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。

实际上，本条的（一）（二）（三）都是在训练数据收集环节对于第三方权利的保护条款。并不直接与输出物有关，但（四）条款关于训练数据的真实性、准确性、客观性、多样性的规定，则是属于通过干预数据影响算法及生成物的规定，数据中如果混杂进了虚假数据，或者数据不准确，缺乏客观性和多样性，将可能产生歧视性的算法或输出成果，或者产生对于社会的不良引导。

此外，（五）条款关于遵守《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》的要求，实际上对于训练数据内容的合法性，也提出了要求。

2、训练过程的干预是实现模型与算法安全性的保障

虽然大模型在预训练阶段通过对大量预训练数据的学习，掌握了大量的语言学知识和世界知识，但仍需要进行有监督的微调，从而更好满足任务需求。一般而言，需要利用数据标注，实现监督学习，并通过调整参数，达到更好的训练效果。数据标注是有监督学习的重要方式，也是生成式AI模型训练的重要环节。比如，《生成式人工智能服务管理暂行办法》第八条即规定，在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。

而在国家主管部门的大模型备案系统中，开发单位备案应提供的必备文件即包括语料标注规则。此外，《信息安全技术 生成式人工智能数据标注安全规范》也处于征求意见阶段。由此可见，国家有关立法与技术标准对于训练过程均予以了关注并进行了规制。

1、训练合规制度体系的建立

生成式AI的研发企业应建立与模型或算法训练有关的合规制度体系，主要包括：

（1）与训练数据获取有关的管控制度

通过相应的制度，对于训练语料数据的来源及其合法性进行充分的管控。训练语料数据的来源可能包括开源数据集、向第三方获取的商业数据集、公共数据、个人信息以及企业自行采集或生产的数据，这些数据集可能包含不同的行业领域。

由于《生成式人工智能服务管理暂行办法》对于训练数据有明确的禁止性规定，并且兜底规定了训练数据应符合《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。这就对训练数据的来源合规及内容合规提出了很高的管控要求。因此，制定与训练数据获取有关的合规制度，是生成式AI训练合规体系的重要内容。

（2）与数据标注有关的规则

数据标注是生成式AI训练的重要环节，研发企业通过人工或者自动化程序，基于对提示信息的响应信息内容，将特定信息如标签、类别或属性添加到文本、图片、音频、视频或者其他数据样本的过程。标注后的数据通常用于训练和验证机器学习模型，帮助模型学习如何从原始数据中提取有意义的模式和信息。数据标注是监督学习的重要内容，数据标准质量影响AI模型的质量，同时也对AI生成内容的合规性产生影响。

因此，数据标注规则，以及围绕数据标注规则建立的数据标注合规体系，如数据标注的安全要求、数据标注人员的安全要求、数据标准的核验要求等，都需要在标注规则中予以体现。

2、预训练数据的安全合规

预训练是生成式AI模型训练的基础，这一过程中，需要面对数据合规与数据安全问题。主要的问题包括以下方面：（1）使用他人作品用户模型训练的的著作权保护问题。（2）以自动化程序（网络爬虫）获取数据用于训练的合规性。（3）第三方商业数据用于模型训练的合规问题。（4）个人信息用于模型训练的合规问题。（5）公共数据训练模型的合规问题。以及其他相关专业领域数据用于模型训练的合规问题。生成式AI的研发企业，应严格遵循数据合规领域专门的法律、法规、规章以及行业性法律、法规、规章的要求，严格把关，防范训练过程中产生数据合规风险。此外，还应采取严格的数据安全措施，防范数据泄露等安全风险。由于预训练的数据合规涉及内容较多，本文不做展开，后续将以专门的文章论述。

3、数据标注的安全与合规

数据标注过程中，可能涉及到本公司人员或第三方外包机构人员对于数据的接触，因而合规方面需要特别关注如下内容：其一、如果标注数据包含敏感个人信息，应采取必要措施对敏感个人信息进行匿名化处理，防止个人信息泄露或不当利用风险；其二、采取数据访问控制策略，只允许经过授权的标注人员访问；其三、标注数据的备份，以防止数据丢失或损坏；其四、监控和记录准备标注的数据的访问和修改记录，以进行数据安全审计；其五、如涉及第三方外包，需要对标注任务的数据安全、数据删除等进行明确约定。此外，需要对标注人员进行过培训，以确保其具备数据标注的基本能力。在数据标注后，还需要对标注内容进行核验，以核验是否达到标注质量及标注的安全要求。由于数据标注合规涉及内容较多，本文不做展开，后续将以专门的文章论述。

综上，生成式AI模型训练是一个动态过程，对于研发企业而言，如何对训练过程进行管控，既是模型质量的基础，也是模型合规的保障。