图源 | Internet
邝苗苗1 安小米1,2,3 黄婕1,3
1.中国人民大学信息资源管理学院，北京，100872；
2.数据工程与知识工程教育部重点实验室，北京，100872；
3.中国人民大学智慧城市研究中心，北京，100872
摘要
关键词
人工智能 监管 核心概念 国际标准 多学科融合
引用格式
邝苗苗，安小米，黄婕.人工智能场景下的监管核心概念及关系研究——基于标准化和多学科融合视角[J].信息资源管理学报，2024,14(3):69-79.
01 问题提出
人工智能（Artificial Intelligence，AI）具有创造重大经济和社会效益的潜力，随着AI的不断完善，在医疗保健、教育、交通等领域，利用该技术来提高生产力和生活质量的机会将会大大增加。但其在技术上的不透明、不可解释，伦理上的算法歧视、决策偏差，社会上的行业垄断以及法律上的追责等风险引发人类的担忧[1]。随着ChatGPT的爆红，一股针对人工智能可能衍生诸多风险的思潮席卷而来。2023年5月17日，开发ChatGPT的美国人工智能公司OpenAI的首席执行官山姆·阿尔特曼在美国参议院一场听证会上，呼吁美国政府加强对快速发展的人工智能领域的监管[2]。同时，2023年5月23日国内发布《生成式人工智能服务管理暂行办法》，强调国家有关主管部门要针对生成式人工智能技术特点及其在有关行业和领域的服务应用，完善与创新发展相适应的科学监管方式，制定相应的分类分级监管规则或者指引[3]。
监管又称规制，指公共部门依据法律法规对经济活动、社会行为进行干预的行为[4]。然而，“监管”一词在中文翻译成英文过程中存在多种表达，如“regulation”“supervision”“monitoring”“oversight”等。中文文献中“监管”一词的概念尚未达成一致，其对应的英文表达更多使用的是“regulation”，如图1所示。起初，朱绍文等翻译的日本著名经济学家植草益所著的《微观规制经济学》将其译为“规制”，指依据一定意义的规则对构成特定社会的个人和构成经济的经济主体的活动进行限制的行为[5]。余晖等翻译的美国著名经济学家丹尼尔·F·史普博的《管制与市场》中，将“regulation”译为“管制”，指由行政机构制定并执行的直接干预市场配置机制或间接改变企业和消费者的供需决策的一般规则或特殊行为[6]。直至2002年，中共十六大首次提出将“市场监管”作为政府的一个重要职能[7]，党和国家的有关文件中开始普遍使用“监管”一词。国内经济学、政治学、法学、公共管理等领域学者逐渐将“规制”“管制”等同于“监管”来理解，如马英娟[8]将“regulation”译为“监管”，并将其定义为“某主体为使事物正常运转基于规则对其进行的控制或调节”；王俊豪[9]认为“监管”即为“政府监管”，是在市场经济体制下，具有监管职能的政府行政机构基于公共利益目标，依据法律法规制度并运用多种监管方式，对微观市场主体所采取的各种制约与激励行为。
然而，在最新发布的人工智能相关的监管政策法案中，“监管”一词对应的英文表达使用不仅包括“regulation”，还涉及“over-sight”“monitoring”和“supervision”，其使用情况如表1所示。
显然，仅从“regulation”理解人工智能场景下的监管概念是不全面的，仅依靠政府行政机关借助法律法规制度手段无法满足人工智能场景下的监管需求。现有研究中缺少对监管概念的全面探析和理解，从经济学、政治学、法学、公共管理等学科理解监管的概念是片面的，且未达到共识，也缺少对标准化文件中监管概念的关注和分析。标准化文件是在一定的范围内获得最佳秩序，对活动或其结果规定共同的和重复使用的规则、导则或特性文件，其内容更具有规范性、民主性、实用性和科学性。基于此，本文从标准化视角对国际标准中监管的概念进行收集和分析，以弥补现有监管概念研究的不足，并从多学科融合视角，对现有的人工智能场景下的监管相关研究文献进行分析，以识别人工智能场景下的监管核心概念及关系，帮助理解人工智能场景下监管相关的实体、工具、管理场景、活动、对象、特征及其关系，对于凝聚监管共识、构建人工智能场景下的通用监管概念体系及标准化协同实现路径具有重要的理论价值和实践意义。
图1 中文文献中监管概念认知的演变
表1 人工智能监管相关政策法案中监管的英文表述及出现频次
02 国际标准中“监管”核心概念及其关系
2.1 数据来源
选择国际公认三大权威性国际标准组织：国际标准化组织（ISO）、国际电工联盟（IEC）和国际电信联盟标准局（ITU-T）的术语数据库，作为国际标准术语研究的语料库，参考各国人工智能政策法案中监管一词的使用习惯，以“regulation”“supervision”“monitoring”“oversight”为检索词进行检索，检索结果及筛选过程见表2。
表2 国际标准中“监管”定义检索及筛选结果
2.1 分析方法
本研究使用ISO 704:2022概念分析方法，对收集到的国际标准中“监管”定义进行分析[10]。由于涉及到的监管定义较多，为了便于分析和图示，对监管的定义进行编码，具体的编码规则见表3。
表3 国际标准中“监管”定义编码规则
2.3 分析结果
使用概念分析方法，对收集的国际标准中的21种监管定义进行分析（详细过程见附录），对其核心概念进行解构和重构，共识别出六类监管核心概念，分别是实体类、工具类、管理场景类、活动类、对象类、特征类。
（1）实体类核心概念及其关系
如图2所示，国际标准中监管实体类核心概念主要包括三类：组织、人和机（物），其中组织主要包括政府机构和第三方两类，人以用户为主，机（物）包括设备、系统。人与机（物）之间存在关联关系，协同执行监管过程。
国际标准中的监管概念缺少对多元实体协作的关注。结合应用领域来看，大多数领域以单一监管实体为主，如人工智能治理、系统和软件工程、程序设计语言、锅炉与压力容器等领域的监管倾向于以组织实体为核心；仅有体育和娱乐设施领域的监管倾向于以人实体为核心；洁净室和相关受控环境、混凝土结构的维护和修理、信息技术、往复式内燃机领域的监管倾向于以机（物）实体为核心；极少领域对多类监管实体进行考虑，如控制中心的人机工程学设计领域以人和机（物）实体为核心，并强调人机之间的协同。
图2 国际标准中监管实体类核心概念及其关系
（2）工具类核心概念及其关系
如图3所示，国际标准中监管工具类核心概念主要包括两类：一类是以文件文书形式，包括具有法律效力或约束力的战略、法律法规、规定、指令命令、规范规则、要求、说明；一类是通过模型以机器可读的指标形式，包括设置参数、基线、变量。
结合应用场景来看，智能交通系统、程序设计语言、锅炉和压力容器、系统和软件工程、体育和娱乐设施等领域倾向于以文件文书作为监管工具；通风和气体清洁系统，控制中心的人机工程学设计，二氧化碳捕获、运输和地质储存，石油和天然气行业，往复式内燃机等领域倾向于以模型作为监管工具；信息技术领域倾向于以文件文书和模型两种结合的方式作为监管工具。
图3 国际标准中监管工具类核心概念及其关系
（3）管理场景类核心概念及其关系
如图4所示，国际标准中监管管理场景类核心概念主要包括七类：风险管理、任务管理、资产管理、数据管理、用户管理、服务管理和产品管理。风险管理涉及风险管理框架、风险管理流程以及风险控制，数据管理涉及数据获取、数据记录、数据处理、数据分析和数据评估。
结合应用场景来看，二氧化碳捕获、运输和地质储存领域的监管管理场景倾向于风险管理；人工智能治理领域的监管管理场景倾向于任务管理、服务管理、产品管理；IT资产管理、质量管理系统等领域的监管管理场景倾向于资产管理；电子收费、信息技术、混凝土结构的维护和修理等领域的监管管理场景倾向于数据管理；体育和娱乐设施领域的监管管理场景倾向于用户管理。
图4 国际标准中监管管理场景类核心概念
（4）活动类核心概念及其关系
如图5所示，国际标准中监管活动类核心概念主要包括三类：文件文书类实体活动、人类实体活动以及机（物）类实体活动。其中文件文书类实体活动包括颁布、监督和执行。人类实体活动包括管理和互动。机（物）类的实体活动包括基本活动和特殊活动，基本活动又包括观察、检查、测量、监督、确定，通常是机（类）实体作为监管主体或被监管对象的必要活动；特殊活动包括验证、识别、比较、校正、控制、审查、过程支持和决策，是在基础活动实施之后的更进一步要求，通常与监管目的直接相关，比如验证功能、识别性能水平或基线差异、自动校正、控制系统、审查合规性、辅助决策等。
结合应用场景来看，电子收费领域以文件文书类实体活动为核心；体育和娱乐设施领域以人类实体活动为核心；控制中心的人机工程学设计，往复式内燃机，洁净室和相关受控环境，混凝土结构的维护和修理，二氧化碳捕获、运输和地质储存，资产管理，质量管理系统，石油和天然气行业，系统和软件工程，通风和气体清洁系统等领域以机（物）类实体活动为核心。
图5 国际标准中监管活动类核心概念及其关系
（5）对象类核心概念及其关系
如图6所示，国际标准中监管对象类核心概念主要包括六类：结果、合规性、状态、趋势、变化、性能。其中状态又涉及资产状态、系统状态、服务状态、产品状态、活动状态和过程状态。
结合应用场景来看，信息技术领域的监管对象以合规性为核心；资产管理、质量管理系统、混凝土结构的维护和修理等领域的监管对象以状态为核心；人工智能治理领域的监管对象以结果、变化为核心；石油和天然气行业领域的监管对象以状态、变化为核心；控制中心的人机工程学设计领域的监管对象以趋势为核心；二氧化碳捕获、运输和地质储存领域的监管对象以性能、变化为核心；系统和软件工程领域的监管对象以结果、状态为核心；洁净室和相关受控环境领域的监管对象以状态、趋势和性能为核心。
图6 国际标准中监管对象类核心概念及其关系
（6）特征类核心概念及其关系
如图7所示，国际标准中监管特征类核心概念主要包括两类：一类是时间特征，指事件持续性的度量，如周期性、长期、定期；一类是过程特征，指事物发展或事情经过所具有的特征，如顺序、连续、频繁、重复。
结合应用场景来看，资产管理、质量管理系统、通风和气体清洁系统与信息技术领域的监管特征主要表现为时间特征。其中，资产管理、质量管理系统领域的监管在时间上具有周期性、长期和定期特征；通风和气体清洁系统领域的监管在时间上具有长期特征；信息技术领域的监管在时间上具有定期特征。智能交通系统，二氧化碳捕获、运输和地质储存等领域的监管特征主要表现为过程特征。其中，智能交通领域的监管在过程上具有顺序、连续、频繁和重复特征；二氧化碳捕获、运输和地质储存领域的监管在过程上具有重复特征。洁净室和相关受控环境、混凝土结构的维护和修理等领域的监管特征包括时间和过程特征。其中，洁净室和相关受控环境领域的监管在时间上具有周期性特征，在过程上具有顺序、连续特征；混凝土结构的维护和修理领域的监管在时间上具有长期特征，在过程上具有连续和频繁特征。
图7 国际标准中监管特征类核心概念及其关系
03 人工智能场景下“监管”核心概念及其关系的文献研究
3.1 数据来源
为了进一步识别人工智能场景下监管的特征，构建人工智能场景下的监管概念体系，以国际标准中监管核心概念类型为分析框架，对人工智能场景下的监管相关文献进行分析。中文文献检索使用中国知网数据库，以“人工智能”“监管”为检索词，进行题名检索，得到23条检索记录；外文文献检索使用Web of Science数据库，将“artificial intelligence(AI)”分别与“regulation”“supervision”“monitoring”“oversight”组配进行题名检索，得到740条检索记录。检索日期为2023年6月10日。
对检索结果进行进一步筛选，筛选原则：①文献来自于核心及以上期刊；②场景包含人工智能和监管两方面。排除原则：提及人工智能但并非专门研究人工智能场景和监管场景。文献检索结果及筛选结果如表4所示。
表4 人工智能场景下的监管相关文献检索情况及筛选结果
3.2 分析框架
以国际标准中监管核心概念类型为分析框架，具体描述见表5，从“实体-工具-管理场景-活动-对象-特征”六个方面对目标文献进行分析，以识别人工智能场景下的监管核心概念及其关系。
表5 人工智能场景下的监管文献分析框架
3.3 分析结果
（1）人工智能场景下的监管实体类核心概念及其关系
人工智能场景下的监管实体类核心概念主要涉及三类：组织、人和机（物），其中组织包括政府机构、社会组织、企业组织、行业组织以及第三方等，组织可以通过进一步设立委员会进行人工智能伦理、风险等的监管；人包括公众、用户等，人工智能场景下的监管，鼓励公众参与监管过程，公众皆可成为监管运行情况的实时传递者与反馈者；用户作为人工智能产品的消费者，应当明确其监管主体地位，守卫其知情权和隐私权；机（物）包括人工智能设备、人工智能系统等。
人工智能场景下的监管，监管权的配置和运行模式不同于传统政府监管，而且由多元主体分享监管权进行合作监管，且强调利用机（物）类实体的技术优势，主要监管方式包括：①组织-人协作监管，形成以政府主导、企业自治、行业监督、公众参与[11]以及第三方认证/审计[12]的多利益相关方协同监管的局势；②人-机（物）协作监管，以人为主导，人工智能系统辅助决策，或以机（物）为主导，人类进行监督，并在人工智能系统/模型遇到意外情况时进行接管控制，允许人类在算法运行期间调整参数[1]；③机（物）-机（物）协作监管，以AI治理AI，以算法监管算法，形成智能化监管体系[11]；④机（物）监管，人类不加以干涉，人工智能系统/模型具有完全监管控制权[1]。
（2）人工智能场景下的监管工具类核心概念及其关系
人工智能场景下监管工具类核心概念主要包括两类：一是以文件文书形式，包括战略、政策、法律法规、监管沙箱制度、指南、道德伦理规范、数据标准；二是使用人工智能模型/算法的形式，如联合学习算法[13]、深度学习卷积神经网络[14]等。
通过分析人工智能场景下的监管工具类核心概念，发现其强调使用监管沙箱制度、道德伦理规范以及人工智能模型/算法。监管沙箱制度体现了事中监管和动态监管的理念，能够有效实现人工智能领域在监管与创新之间的动态平衡[1]。人工智能监管沙箱是指人工智能系统入市或投入使用前，主管机构提供一个受控的环境，在指定时间内对人工智能系统进行开发、测试和验证。对人工智能系统开展沙箱实验时，一旦发现对人的健康、安全和基本权利产生任何风险，应立即采取措施降低风险[15]。道德伦理规范是为了确保人工智能技术的发展要以人为本，规范AI的道德原则，提倡发展有道德的AI[1]。人工智能模型/算法不同于基于国际标准中监管概念分析得出的模型类工具需要通过人工设计任务指令以指导机器进行操作的过程，其强调从以往的结果进行学习，无需人工的干预，无需通过编程来执行监管任务，而是基于大量的数据，建立假设、提出可能的结果，并作出决策[16]。
（3）人工智能场景下的监管管理场景类核心概念及其关系
人工智能场景下监管管理场景类核心概念主要包括风险管理、任务管理、资产管理、数据管理、质量管理、产品管理、健康管理、能源管理和生态系统管理。与国际标准中识别的监管管理场景相比，增加了质量管理、健康管理、能源管理、生态管理，尚未涉及用户管理、服务管理场景。
总的来看，人工智能场景下的监管管理场景以风险管理为主，包括对技术风险、伦理风险、社会风险和法律风险等的监管。技术风险主要是指由人工智能技术本身的缺陷所引发的风险，比如人工智能算法不透明、不可解释等导致的风险[17]；伦理风险主要是指由算法歧视、决策偏差、算法权利等导致的风险[18]；社会风险主要是指由于人工智能技术应用导致的劳动力供大于求、行业垄断等带来的风险[1]；法律风险是指人工智能产品涉及的法律人格争议、责任归属难题，以及对现有的归责体系带来的冲击等风险[1]。
（4）人工智能场景下的监管活动类核心概念及其关系
人工智能场景下监管活动类核心概念主要包括三类：文件文书类实体活动、人类实体活动、机（物）类实体活动。
文件文书类实体活动包括人工智能相关的战略、政策、法律法规等的颁布、监督和执行[19]；人类实体活动包括人工智能技术/产品对人类的运动状态、健康状态以及产生的数据等进行记录和管理[20]，或人与机器互动，进行监管过程的调节、控制等[21]；机（物）类实体活动包括基本活动和特殊活动，其中基本活动包括观察、检查、测量、监督、确定，特殊活动与基于国际标准识别的活动存在一些不同，主要表现在特殊活动除包括验证、识别、比较、校正、审查、过程支持、决策之外，还涉及（故障）诊断[22]、预测[23]两项重要的活动。
（5）人工智能场景下的监管对象类核心概念及其关系
人工智能场景下监管对象类核心概念包括六类：结果、合规性、状态、趋势、变化、性能，其中以合规性、状态、性能为主，文献分析结果相比基于国际标准的监管概念分析结果有了进一步细化和补充。
合规性主要涉及阶段合规性、技术合规性、行为合规性、质量合规性[24]等。阶段合规性涉及使用人工智能系统实时监管差异情况，通过设定分阶段满足差异消除的合规性指标，将监管介入节点拓展至事中和事前阶段[11]；技术合规性涉及人工智能开发阶段要强化算法程序架构与代码设计审查，确保程序代码设计的合规[12]；行为合规性涉及人工智能应用阶段对算法使用者是否遵守监管要求进行合规审计[12]、对使用智能化监管平台和预警系统进行违法监管[19]；质量合规性涉及对基于人工智能的（医学物理医疗）设备软件要进行质量合规检验[24]。
状态主要涉及交通状态、人体器官状态、身体状态以及机器状态，这些都是相比基于国际标准监管概念分析结果增加的内容。性能主要涉及软件性能、系统性能、人体器官性能等，通过文献分析得出的结果对国际标准监管概念分析结果进行了有益补充。
（6）人工智能场景下的监管特征类核心概念及其关系
人工智能场景下监管特征类核心概念包括时间上和过程上两类。不同于基于国际标准中监管概念识别的特征类核心概念，人工智能场景下监管的特征类核心概念在时间上强调实时[25]、长期进行[14]，以保证监管的实效性以及持续性，在过程上强调连续的全生命周期监管，监管过程动态[1]、可追溯[12]和自动化[13]。
04 结束语
4.1 人工智能场景下的监管概念的特殊性考虑
人工智能场景下的监管概念具有特殊性，在监管主体上主要表现为政府机构、社会组织、企业组织、行业组织、第三方、公众、用户以及人工智能设备、系统等同时作为重要的监管主体被考虑在内；在监管工具上主要表现为强调使用监管沙箱制度、道德伦理规范、人工智能模型/算法作为重要的监管工具应用于监管过程中；在监管场景上主要表现为以风险管理为主；在监管活动上主要表现为关注机（物）类实体的活动，如使用人工智能设备或系统进行（故障）诊断、预测；在监管对象上主要表现为以监管合规性、状态、性能为主；在监管特征上主要表现为强调监管的实时性、监管过程的动态性、可追溯性以及自动化。
现有研究显示，监管概念在监管主体、监管对象以及监管手段等方面呈现明显变化和趋势。在监管主体方面，由最初的以政府机构为主，演变到重视人与机器协同监管、机器监管以及人对机器的监管等，监管体系中的监管主体及其协作模式更为多元，人机协同监管和人对机器的监管将是未来的发展趋势。在监管对象方面，由最初的以监管市场主体行为为主，演变到重视对合规性、状态、性能等进行监管，监管机（物）类实体的行为或状态等将是未来的发展趋势。在监管手段方面，由最初使用具有较高约束力的法律法规政策进行被动监管，演变到重视使用伦理规范、模型算法等方式进行主动监管，自我监管、模型实时动态监管等是未来的发展趋势。
本研究局限于对标准文件和期刊论文中监管概念及其关系的梳理和人工智能场景下监管概念及其关系的特殊性考虑，未来研究应基于实践案例开展人工智能场景下的监管概念及其关系的映射分析、验证和修正。
4.2 人工智能场景下的监管概念的标准化问题讨论与建议
整体来看，国际标准中的监管概念稍滞后于文献研究，尚未完全将人工智能场景下监管的内涵涵盖在内，如人工智能场景下监管主体间多元的合作监管模式，丰富的机（物）类实体监管活动，强调实时性、动态性、可追溯性和自动化的监管特征等。因此，有必要专门针对人工智能场景下监管概念的特殊性，确定一个适用的监管定义。
基于此，本文提出人工智能场景下的监管定义，即行动者采用一定的手段在时间和过程方面对客体开展的管理控制活动。行动者包括政府机构、社会组织、企业组织、行业组织、第三方、公众、用户、人工智能设备或系统等；客体包括合规性、状态、性能等；手段包括使用文件文书、模型算法等；管理控制活动包括验证、识别、比较、校正、审查、过程支持、决策、（故障）诊断、预测等。此外，在时间上，该管理控制活动具有长期性、实时等特征；在过程上，该管理控制活动具有动态、可追溯、自动化等特征。
附录下载地址见阅读原文（提取码：26yw）
参考文献
作者简介
*原文载于《信息资源管理学报》2024年第3期，欢迎个人转发，公众号转载请联系后台。
* 引用格式
邝苗苗，安小米，黄婕.人工智能场景下的监管核心概念及关系研究——基于标准化和多学科融合视角[J].信息资源管理学报，2024,14(3):69-79.
往期 · 推荐
制版编辑 | 周凡倩
审核 | 于 媛
长按识别二维码关注我们
信息资源管理学报
分享、在看与点赞
只要你点，我们就是朋友😊
