郑志峰、罗力铖：高风险人工智能的风险治理与责任承担

【作者】

郑志峰 西南政法大学民商法学院教授、科技法学研究院副院长

罗力铖 西南政法大学民商法学院博士研究生

考虑篇幅，已略去原文注释及部分内容，完整全文欢迎点击【阅读原文】登入【月旦知识库】参照。

作为全球第一部人工智能系统立法的欧盟《人工智慧法》采用基于风险的规制方法，将人工智能的风险划分为不可接受风险、高风险、有限风险和最低风险四个等级。基于风险的规制方法符合人工智能技术多样性和应用广泛性的特征，能够形成全过程、敏捷性和多主体参与的风险治理格局，有助于实现人工智能安全与发展的利益平衡。高风险人工智能是人工智能风险治理的重要抓手，需要从应用类型、应用领域、应用影响等三个方面识别高风险人工智能的基本概念。提供者与使用者是人工智能产业链中的重要主体，应当明确各自的风险管控义务。对于高风险人工智能，不宜将人工智能本身作为责任承担的主体，提供者、使用者仍是第一责任人，在此基础上，需要合理配置相应的民事责任、行政责任和刑事责任规则。

【关键词】：高风险人工智能、风险治理、人工智能责任、侵权责任

壹、高风险人工智能的识别

贰、高风险人工智能的风险管控

叁、高风险人工智能的责任承担

肆、结语

近年来，随着大数据、云端运算、人工智能技术的迅猛发展，人脸识别、深度合成、聊天机器人、自动驾驶汽车、医疗机器人、生成式人工智能等人工智能应用层出不穷，智能广泛从专业性较强的领域逐步拓展到社会生活的各个方面，人类社会正在进入「万物皆互联、无处不计算」的精准生活状态。然而，人工智能技术在方便人们生产生活的同时，引发演算法歧视、演算法黑箱、数据泄露等问题，一些高风险人工智能还可能直接对人们的人身财产安全造成损害。例如，2018年发生在美国亚利桑那州的Uber自动驾驶汽车致人死亡案中，系统直到事故发生前1.2秒才识别出前方推着自行车的行人，而此时自动驾驶汽车的时速已达到40英里，刹车已无济于事。更可悲的是，当时车上的安全员瓦斯奎兹却在分心玩手机，尽管瓦斯奎兹已于2023年7月28日认罪并被判处3年监督缓刑，但Uber公司以及其所使用的自动驾驶演算法最终却免于被追责。这一结果引发了人们广泛的议论和质疑，有观点认为Uber公司至少负有优化和监管人工智能演算法风险的义务，更不应该将责任完全推卸给人类安全员。由此可见，在人工智能风险越发突出和损害不断发生的今天，有必要针对高风险人工智能进行专门规制，明确其风险治理与责任承担规则。

一、高风险人工智能的风险管控逻辑

人工智能风险并非确定性、单一性的风险，而是蕴含着生成多元性、演化交替性、结果未知性的体系性风险。人工智能的风险治理涵盖对演算法安全、数据安全、模型安全、运行安全和基础设施安全的综合治理，对于高风险人工智能的风险管控必须形成全流程、高效敏捷和多主体参与的风险治理体系。

（一）全流程的风险治理

高风险人工智能的风险治理必须贯穿于人工智能的开发设计阶段、投入市场前的评估阶段和投入市场后的运营和监管阶段。第一，在高风险人工智能的开发设计阶段，必须分析和识别产品或系统已知的和可预见的风险，并采取相应的技术措施优化人工智能演算法系统，提升人工智能的质量和安全性。第二，在投入市场前可以采用「监管沙盒」机制来为高风险人工智能提供一个可控的测试场。通过对潜在的风险进行测试，评估使用后可能产生的风险，能够尽可能地预防投入市场后风险的发生。除了建立自我评估与测试机制外，还可以探索第三方专业机构评估与强制性合规认证相结合的机制，既可以确保将风险降至最低，也有利于人工智能产品的跨区域流通。第三，在投入市场后的运营阶段需落实动态监管的策略。这需要研发能够实时监管人工智能应用风险的智能监管工具，建立健全人工智能风险自动记录日志，实现信息和数据的自动收集、分析和预警，为人工智能参与者提供决策支持和便于人工及时介入。此外，还应保证人工智能的信息披露与透明度，确保高风险人工智能全生命周期的公开和透明。

（二）高效敏捷的风险治理

面对高速发展的人工智能技术，敏捷治理是人工智能风险管控的重要逻辑，受到广泛推崇。早在2019年，中国大陆国家新一代人工智能治理专业委员会在其发布的《新一代人工智能治理原则──发展负责任的人工智能》中明确指出敏捷治理是人工智能风险治理的基本原则，需要尊重人工智能发展规律，在推动人工智能创新发展、有序发展的同时，及时发现和解决可能引发的风险。一方面，高风险人工智能的风险治理必须实现治理措施和方案的敏捷化。例如，日本统合创新战略推进委员会于2022年发布的《实施人工智能原则的治理指南（1.1版）》中明确提出敏捷治理，要求按照条件和风险分析、目标设置、系统设计与实施评估等循环流程实施人工智能风险治理，并根据不断变化的条件和目标，不断修改和优化治理方案。另一方面，高风险人工智能的敏捷治理要实现治理对象和类型的敏捷化。对此，欧盟《人工智慧法》就指出，除了附件三中明确列举的高风险人工智能类型外，欧盟委员会还有权通过发布指南和立法的方式，动态增加或删除附件三的类型范围，以确保高风险人工智能的治理能及时跟上技术的发展。

（三）多主体参与风险治理

高风险人工智能需按照风险原则确定管控义务主体，即谁最能控制、分散风险，谁就是高风险人工智能风险管控的第一义务人。唯有将这些义务配置给那些能够控制、分散人工智能技术风险的人，形成多主体参与的风险管控格局，才能更好地预防、减少损害的发生。虽然人工智能产业链上的主体非常多样，但参考欧盟《人工智慧法》等做法，主要包括提供者、使用者两种类型。一方面，从人工智能提供者来看，主要包括向市场提供高风险人工智能产品或服务的制造商和企业，以及为人工智能提供组件或插件服务的提供商。此外，欧盟《人工智慧法》还规定如果经销商、进口商、使用者以自己名称或商标，或实质性修改高风险人工智能系统，使其符合或开始符合高风险标准时，这些主体也应被视为高风险人工智能的提供者。另一方面，从人工智能使用者来看，既包括使用和接受人工智能产品与服务的用户，也包括以商业途径使用人工智能的运营商。对此，欧盟《人工智慧法》将「使用者」的定义为「被授权使用人工智能系统的任何自然人或法人，包括公共机关、机关或其他团体，但个人非专业活动中使用人工智能系统的情形除外」，由此可见其采纳的是广义的使用者概念，不限于普通的高风险人工智能用户，还包括部署运营人工智能的组织。

二、提供者的风险管控义务

由于高风险人工智能的制造商、提供商最能控制和预防风险，因此提供者是高风险人工智能风险治理的核心主体，其风险管控义务应贯穿设计研发和运行监管的全过程，具体包括如下义务。

（一）品质管理与风险识别义务

提供者需要在设计研发和投入市场前的阶段承担品质管理的义务，并承担全过程的风险识别义务。一方面，需要建立符合技术规范和标准的人工智能品质管理体系，确保人工智能系统的设计开发、质量控制与测试能够达到投入市场流通的要求。另一方面，需要建立风险管理系统，识别和分析高风险人工智能系统在按照其预期目的使用时可能对健康、安全或基本权利造成的已知和可预见的风险，在技术可行的情况下能够合理、有效地将人工智能的风险降至最低。并且该风险管理系统需要定期进行评估和更新。此外，对投入市场后的高风险人工智能，风险管理系统仍需对其进行追踪检查、测试和验证的动态监测任务。

（二）数据治理与信息保存义务

数据是人工智能的养料，没有数据就没有智能。高风险人工智能的演算法与模型离不开大量的数据喂养、验证、测试和训练，因此提供者需承担数据治理的义务。首先，提供者需要设计数据处理的治理和管制措施，充分考量数据的特定使用环境、行为和功能，确保所使用的数据集具有相关性、代表性、准确性和完整性。其次，提供者需要根据数据获取与利用的流程，采取符合数据获取与利用规则的一系列规范。一是要确保数据的收集过程和数据来源合法；二是需要建立数据分类分级机制，并审查不同等级和不同类型的数据可能造成的负面影响，并采取措施发现、预防和减轻数据在未来使用中造成的差距和偏差；三是针对特殊类别的数据和个人数据，需要采取数据标注、清理、更新、匿名化的手段，保障该类数据的保密性和不被滥用。此外，欧盟《人工智慧法》还规定高风险人工智能的提供者需要在投入市场前拟定记录和证明符合强制性规范的技术文件，并建立自动记录系统生命周期内事件的日志。提供者的信息保存义务有利于高风险人工智能在投入市场时和投入市场后，保障风险和风险管控措施的可查验性和可追溯性。

（三）提示与召回义务

所谓提示义务，是指高风险人工智能的开发者和设计者需要向下游的使用者以能够被理解的方式，如合适的数字格式和使用说明，来提示该人工智能的提供者身份、系统的特征、功能、性能限制和变化、便利使用者的人为监督措施等等。提供者提示义务的履行能够避免引起警示缺陷的发生，可以直观展现该人工智能是否符合技术性标准，同时能在一定程度上帮助运营者、使用者理解人工智能的用途和安全性，降低其在合理期待标准下对缺陷的证明压力。所谓召回义务，是指高风险人工智能的提供者需要建立投入市场后的检测系统，并动态评估该人工智能是否持续符合相关标准。如果高风险人工智能被发现存在严重风险或实际引起严重的损害事件，则提供者负有义务采取从市场上禁用或召回人工智能的纠正措施。

三、使用者的风险管控义务

如前文所述，广义的使用者包括以商业途径运营人工智能的组织和以非商业途径使用人工智能的普通用户。对此，欧盟《人工智慧法》排除普通用户的风险管控义务的做法实际上值得商榷，因为普通用户也具有一定的控制和预防风险的能力和义务，因此本部分应从广义上来讨论使用者的义务。

（一）正当使用义务

无论是以商业途径使用，还是以非商业途径使用高风险人工智能的使用者，都需要严格按照使用说明来使用人工智能，并确保高风险人工智能在自然人的监督下使用。所谓正当使用，指的是按照人工智能产品或者服务的功能用途、使用说明进行使用，如利用生成式人工智能来创作歌曲、自动驾驶汽车来上下班、医疗机器人来实施手术等。如果使用者没有按照人工智能的用途进行使用，而是将其作为一种普通工具使用，就不属于人工智能使用者，如驾驶人将自动驾驶汽车作为传统车辆来使用，并未开启车辆的自动驾驶功能。中国大陆《新一代人工智能伦理规范》在设置使用规范时，提倡善意使用，避免误用滥用，禁止违规恶用。这意味着使用者需要认真了解人工智能产品或者服务的基本信息、使用说明，知晓人工智能产品或者服务的潜在风险。例如，《深圳经济特区智能网联汽车管理条例》第35条第1款规定：「智能网联汽车驾驶人应当按照道路通行规定和车辆使用说明书的要求，掌握并规范使用自动驾驶功能。」

（二）监督义务

鉴于高风险人工智能的风险属性，使用者应当负担一定的监督义务。虽然人工智能具有一定的自主能力，但目前人工智能的自主性还未达到完全独立于人类运行的高度，更多的是人机协同操作模式。因此，强调高风险人工智能使用者负有的监督义务，既是强调人类在人工智能中的主导地位和责任意识，重申「以人为本」的科技伦理原则，也可以避免因人类过度依赖人工智能导致的「警觉衰退（vigilance decrement）」，进而减少风险发生的概率。例如，《深圳经济特区智能网联汽车管理条例》第35条第2款规定：「有条件自动驾驶和高度自动驾驶的智能网联汽车在自动驾驶模式下行驶时，驾驶人应当处于车辆驾驶座位上，监控车辆运行状态和周围环境，随时准备接管车辆；智能网联汽车发出接管请求或者处于不适合自动驾驶的状态时，驾驶人应当立即接管车辆。」

（三）数据与信息留存义务

虽然高风险人工智能的提供者可以在设计研发端建立数据与信息留存系统，但数据和日志生成主要来源于人工智能的日常运行，作为人工智能前端主体的使用者拥有更多的控制权，更有可能也更有能力收集和掌握日常运行的数据和日志。因此，高风险人工智能的运营商必须在其控制范围内保存自动生成的数据和日志。例如，欧盟《人工智慧法》就规定数据和日志的保存期限应当与高风险人工智能的预期目的相称，且不得低于6个月。再比如，《人工智能辅助治疗技术临床应用管理规范（2022年版）》也同样要求「建立病例信息数据库，在完成每例次人工智能辅助治疗后，应当按要求保留相关病例数据信息，并按规定及时向所在地省级医疗技术临床应用信息化管理平台上报」。此外，由于普通用户一般不具备收集和掌握运行数据和日志的能力，因此不承担此处的数据与信息留存义务。

如果说高风险人工智能的风险管控义务是「第一性义务」，那么违反这一义务导致损害将使得提供者和使用者承担「第二性义务」的法律责任，问题在于如何来承担高风险人工智能引发的法律责任。

一、高风险人工智能的责任主体

随着智能机器人、人形机器人的逐步应用，其强大的具身性使得机器人逐渐实现对人类智慧和情感的高度模拟，甚至是替代，引发人机界限的模糊。与此同时，高风险人工智能越发突出高技术性和强人工智能性的特征，人工智能法律主体说、电子人格说、代理说、有限主体说等观点再次成为讨论的热点。本文认为，对于高风险人工智能是否可以相对独立地承担法律责任，答案仍是否定的，原因如下：第一，尽管现阶段的人工智能已经相当发达，但仍未赋予机器或系统以完全独立的「意志」，承认人工智能能够相对独立地承担责任既是对于人类中心主义技术伦理的破坏，也与现有的法律主体规则产生矛盾。第二，对于民事责任，高风险人工智能并不具有独立财产，其仅仅是人类所使用的一种智能工具，财产责任仍需由其背后的提供者和使用者来承担。第三，对于行政责任，即便依托深度学习演算法的高风险人工智能在一定程度上可以自行学习和校正，但系统本身并不具有自我监管和优化的能力与义务，如果缺乏人类来承担行政监管责任，必然导致系统过度控制和霸凌人类的技术异化。第四，由于刑事责任主要是一种非财产责任，一般以人身、行为、人格等为责任承担的内容。如果一台人形机器人因触犯故意杀人罪而被判处死刑，即便在表面上通过拆除、粉碎等物理手段毁灭这台机器人的「肉身」，但从实质上来看，似乎还是由人形机器人的所有人承担财产受损的责任，无法实现刑法中限制、剥夺「自由和生命」的目的，因此人工智能也无法独立承担刑法责任。

二、人工智能民事责任的立法设想

目前，对于高风险人工智能的提供者和使用者承担什么样的民事侵权责任存在不同的做法。例如，欧盟《人工智慧和其他新兴数字技术的责任》报告认为严格责任是对新兴数字技术所带来的风险的适当应对，欧盟《人工智慧责任条例》也明确高风险人工智能适用无过错责任，但随后公布的《人工智能责任指令》却未坚持这一立场。韩国《人工智能责任法案》明确规定高风险人工智能应适用过错推定责任。而中国大陆有学者认为高风险人工智能应适用无过错责任，但两部人工智能法建议稿都未引入无过错责任，而是选择过错推定责任或过错责任。

本文认为，高风险人工智能的侵权责任需要区分产品责任与应用责任。产品责任，顾名思义仅适用于人工智能产品，解决的是产品缺陷致害引发的侵权责任，针对的是生产者、销售者一方，主要指向提供者。与此不同，应用责任聚焦人工智能部署应用端的风险损害，更适合用来解决使用者的责任问题。对于高风险人工智能产品来说，自然可以适用产品责任，受害人无需证明提供者存在过错，只需要证明产品缺陷、损害、因果关系即可。而对于高风险人工智能产品的使用者以及高风险人工智能服务的提供者、使用者来说，则需要适用应用责任。这就需要明确高风险人工智能的应用责任应当适用何种归责原则的问题。

考虑到高风险人工智能引发的损害往往更为严重、范围更广，有必要适用无过错责任。首先，无过错责任有利于救济受害人，高风险人工智能的决策和行动充满不透明和不可解释性，这严重影响证明过错的存在，提供者和使用者因此可能逃避责任，不利于对受害人的救济。其次，适用无过错责任有利于保障侵权责任归责体系的协调性，因为有相当多的高风险人工智能的应用风险并不亚于现行适用无过错责任的活动。最后，无过错责任契合高风险人工智能的风险属性，提供者和使用者将高风险人工智能投入使用，为社会增加远超一般水平的新风险源，并且因此获得巨大的利润。同时，提供者和使用者往往更能控制和分散风险，适用无过错责任可以激励他们预防和管控风险。适用无过错责任虽然在一定程度上会加重高风险人工智能提供者与使用者的责任负担，但通过设置安全港规则、赔偿责任上限及保险机制等，可以避免引发产业的「寒蝉效应」。

三、人工智能行政责任与刑事责任的规则配套

其一，行政责任。人工智能的行政监管必须建立以风险为划分的分类分级体系，并根据不同风险等级的人工智能裁量对应的行政处罚责任，尤其是对于行政罚款的档次和具体数额，需充分考虑提供者与使用者风险管控义务的履行情况、违法行为是故意还是过失、损害的严重性与影响范围、是否采取补救措施并减轻可能造成的损失等。对于高风险人工智能来说，需要制定相应的事前风险备案制度、容错免责制度和合规不处罚制度，平衡人工智能的产业促进与责任承担。例如就合规不处罚制度来看，合规管理建设是贯通民事、行政、刑事各领域的综合性改革，有利于避免「以罚代管」、「一罚了之」的行政监管乱象。高风险人工智能引发的损害有时是现有技术确实无法避免的，冒然进行处罚不仅不利于人工智能行业的发展，更不利于人工智能责任规则的科学更新。当高风险人工智能提供者和使用者首次违反行政法律规范，主动配合行政机关调查、改善、认罚的，可以考虑减轻或免除单位以及直接负责的主管人员和其他责任人员的行政处罚。此外，随着中国大陆数字政府、演算法行政与自动化行政的逐步推进，政府机关也成为人工智能的重要使用者，并且由于行政人工智能的应用领域直接涉及执法领域、公共管理领域与社会民生领域，大多会被纳入高风险人工智能的范畴，因此有必要探索针对高风险行政人工智能的监管规则、问责规则和责任承担规则。

其二，刑事责任。由于高风险人工智能的高度智能性，既可以作为一种犯罪工具，也可能成为被攻击对象，同时还可以为犯罪提供语境或背景。提供者与使用者利用高风险人工智能可能使得部分传统犯罪的危害性更大，也可能引发新的犯罪形式，甚至高风险人工智能有可能脱离人类的控制而实施严重危害社会的犯罪。首先，可以考虑更新传统罪名的定罪和量刑标准，结合高风险人工智能的技术特性和可能的具体风险，修改高风险人工智能提供者与使用者可能触犯的罪名的构成要件，例如侵犯知识产权类犯罪、煽动类犯罪、侵犯公民人身权利类犯罪、侵犯数据信息系统类犯罪等。其次，还可以增设新的罪名来有效规制高风险人工智能，例如增设滥用人工智能罪、人工智能产品事故罪等，实现刑事责任的承担。最后，应当考虑更新针对高风险人工智能的刑罚种类，虽然高风险人工智能并不具有独立承担刑事责任的能力，但除了对提供者和使用者施加刑罚以外，也应当附带对高风险人工智能本身制定删除数据、修改程序、永久销毁等的刑罚措施，这能够有效降低高风险人工智能的危险性和「再犯可能」。

随着越来越多的人工智能应用被研发并投入市场流通，人工智能的类型更加多样，引发的风险和损害也越来越复杂，有必要针对其中的高风险人工智能进行特别规制。欧盟《人工智慧法》创造性地采取基于风险的规制方法，重点针对高风险人工智能进行监管，对于全球人工智能立法都有重要的借鉴意义。未来中国大陆人工智能法宜建立以高风险人工智能为中心的风险规制路径，明确各方主体应承担的风险管控义务，形成全流程、多主体参与的风险预防方案。同时，也需对风险分配和责任承担的规则进行迅速更新，以便让高风险人工智能的民事责任、行政责任和刑事责任的承担能够有效应对技术的发展和现实需求。

文字整理｜汪跃