头条 | 周学峰：论人工智能的风险规制

企业 2024-11-26 11:30 北京

来源 | 比较法研究

作者 | 周学峰

一、从风险理论的视角理解人工智能风险

二、对人工智能风险进行规制的正当性与面临的挑战

三、规制人工智能风险的路径选择

四、人工智能风险规制与事后救济的衔接

五、结语

摘要：人工智能风险是随着人工智能应用而生的。对人工智能风险的识别并不是单纯的技术问题，而是涉及复杂的伦理、价值与法律判断。人工智能风险具有不确定性、不透明性、泛在性、变动性等特点，从而给人工智能风险规制带来挑战。在对人工智能风险进行规制时，其立法模式宜采用总分结合的方式，在采用行为规制模式的同时应辅之以赋权模式，在选择规制方案时应采用基于风险的规制模式。人工智能风险规制的目标并不是排除所有的风险，而是将风险控制在合理的范围内，因此，人工智能致损难以完全避免，事后救济机制的存在是十分必要的。

关键词：人工智能；风险；规制；基于风险的规制

　　自人工智能概念被提出以来，人们在为其可能创造的各种奇迹而感到兴奋的同时，也为其可能产生的风险而深感忧虑。无论是阿西莫夫在20世纪40年代提出的“机器人三原则”，还是科技界和产业界在2017年提出的“阿西洛马人工智能原则”，抑或是世界上多部人工智能伦理准则，例如，欧盟人工智能高级别专家组提出的《值得信赖的人工智能伦理准则》、中国的新一代人工智能治理专业委员会发布的《新一代人工智能伦理规范》、联合国教科文组织的《人工智能伦理问题建议书》均将人工智能的风险规制问题作为重点关注对象。世界上首部关于人工智能的综合性立法欧盟《人工智能法》基本上就是一部人工智能风险规制法。

　　人工智能风险问题并不是一个纯粹的法律问题，而是一个受到科技界、产业界、伦理界、管理界、法律界、各国政府和社会公众共同关注的话题。人工智能风险本身具有不确定性、不透明性、泛在性（ubiquitous）、变动性和复杂性等特点，而如何看待人工智能风险则更具争议性。例如，在ChatGPT横空出世之际，一些人工智能科技和产业界的专家曾发出暂停巨型人工智能实验的公开信，显示出社会各界对人工智能风险的不同认识。又如，美国人工智能企业聚集地加利福尼亚州州长纽森近期否决了该州议会通过的《前沿人工智能模型安全与创新法案》，此亦显示出将人工智能风险纳入立法规制时所产生的争议。

　　在我国，早在2017年国务院发布的《新一代人工智能发展规划》就关注到人工智能风险问题并提出“制定促进人工智能发展的法律法规和伦理规范”。国务院办公厅发布的《国务院2023年度立法工作计划》和《国务院2024年度立法工作计划》均将“人工智能法草案”列为预备提请全国人大常委会审议的立法草案。2024年7月《中共中央关于进一步全面深化改革推进中国式现代化的决定》明确提出“建立人工智能安全监管制度”。由此可以看出，人工智能风险规制必将成为我国未来人工智能立法中的重要内容。但是，将人工智能风险纳入立法规制范畴，需要从基础理论上澄清许多问题。例如，应当如何看待人工智能风险规制的对象，应当采用何种模式对人工智能风险进行规制，对人工智能风险的事先规制与事后救济机制应当如何进行衔接。本文将从风险规制的一般理论出发，结合国内外的相关立法经验，对上述问题进行理论探讨，以期对我国未来的人工智能立法有所裨益。

从风险理论的视角理解人工智能风险

　　所谓人工智能风险，是指基于人工智能技术应用而产生的风险。当前许多关于人工智能风险的研究，往往侧重于对人工智能技术原理或特性分析。事实上，单就人工智能技术本身而言，其无所谓风险，只有当人工智能技术被实际应用时才会产生风险。人工智能风险是人类社会所面临的诸多风险中的一种，而人类社会长期积累下来的关于风险管理的经验和理论则有助于我们来应对今天的人工智能风险。欲理解人工智能风险，首先需要理解风险的含义，从风险理论的视角来对这一概念进行把握。风险观念的塑造和选择非常重要，它会影响到对人工智能风险规制模式的选择。

　　（一）风险的含义

　　风险是一个在当代社会被广泛运用的概念，但是，正如卢曼所言：“人们一旦试图界定风险的概念，便立刻陷入了迷惑之中。”对于风险的具体指向，历来都是众说纷纭，其不仅在不同学科中具有不同的含义，即使在同一学科中对其概念的界定亦有争议。从历史的角度来看，风险的含义是随着人类社会的发展而不断变化的。在人类社会早期，人们只有灾害的观念而无现代人所讲的风险的观念。人类在面临死亡、饥荒、洪水、干旱等自然灾害时，往往将其看作是上帝之手而无法预见、无法抗拒，人类只能诉诸宗教、神灵以祈祷灾害的减少。一般认为，近现代意义上的风险概念是源于欧洲中世纪时期，在西班牙语和意大利语中已出现了相关语词，例如，意大利语中的“risico”、“risco”和“rischio”。但是，上述语词却同时具有“冒险”的含义。这一概念所反映的是自12、13世纪时起意大利的一些商人和航海者所从事的航海冒险活动，其一旦成功将带来丰厚的利润，而一旦失败则会一无所有，航海者与出资人可通过签订契约的方式来安排风险的分配。由此可以看出，中世纪航海贸易中的“风险”一词具有中性或者两面性的特征，即既有获利的可能，亦有受损的可能。自16、17世纪以来，英国等地出现了海上保险，它代表的是人们对于风险的积极态度，其通过商业化的方式将应对风险做成了一门生意。保险的出现对于现代风险理论的发展产生了重要影响。后来，随着数学、统计学，特别是概率理论的发展，风险的概念开始与概率产生关联，从而大幅提高了人类管理风险的能力，并催生出了现代金融学、经济学、管理学以及社会学等学科中的风险概念。可以说，风险概念的发展史实际上就是一部人类社会应对风险、管理风险的历史。

　　欧盟《人工智能法》从立法的角度对风险进行了界定，该法第3条第2款规定：“风险是指损害发生的概率和损害的严重程度的组合。”美国国家标准与技术研究院（NIST）制定的《人工智能风险管理框架》则将风险界定为“事件发生概率和相应事件后果幅度（或程度）的综合度量”。由此可以看出，欧盟法是从负面的角度，即损害的角度，来界定风险的。与之不同，美国国家标准与技术研究院则是从中性的角度来对人工智能风险进行界定，其在该文件中明确提到人工智能系统的影响或者后果既有可能是正面的，也可能是负面的，机遇与威胁并存。欧盟和美国对于人工智能风险概念的认识差异，在一定程度上可以解释两者为何对人工智能风险选择了不同的规制路径。

　　当我们对一个词语进行概念界定时，其一方面反映了我们的思维模式，另一方面也在塑造着、影响着我们的思维。基于不同的研究目的、研究视角以及应用场景，可以对风险一词作出不同的界定。针对人工智能风险规制对象的“风险”，应从损害可能性的角度进行界定，即个人、组织的合法权益或者公共利益未来将遭受某种损害的可能性。正是有损害的可能性，才存在对其进行规制的正当性。而从规制方法的角度来看待人工智能风险，则宜从风险的两面出发，将其界定为不确定性，即既包括因人工智能技术应用而遭受损害的不确定性，亦包括从人工智能技术应用中获益的不确定性。只有同时关注到风险的两面性，才可以对人工智能的应用进行成本与效益方面的权衡，从而作出恰当的决定。

　　（二）风险与损害

　　作为人工智能风险概念要素中的损害，不仅包括个人和组织的合法权益所遭受的损害，也包括公共利益所遭受的损害，例如，公共秩序遭到破坏、环境受到影响或者国家安全受到威胁。就个人权益所遭受的损害而言，有些类型比较容易认定，例如，人工智能产品或服务存在缺陷或决策错误而造成的人身伤害、财产损失等。但是，有些类型的损害则较难认定，从而给后续的人工智能风险规制带来困难，例如，人工智能决策导致歧视或侵犯他人隐私。这主要是因为区分合理的差别对待与歧视往往容易产生争议，而是否构成侵犯隐私权有时也会涉及到对相关利益的权衡。

　　如果对所有类型的损害风险均进行一体同等保护和规制，将会超过监管机构的资源和能力。因此，立法必然有所侧重和选择。究竟将哪些类型的损害风险纳入人工智能立法所规制的风险范围，或者将哪些类型的损害风险予以重点或优先规制，则取决于立法者的价值判断和选择。从欧盟《人工智能法》来看，其将保护健康、安全和基本权利作为规制人工智能风险的主要目的，并且强调了民主、法治和环境保护。而美国、英国、欧盟等多方共同签署的《人工智能与人权、民主、法治框架公约》所关注的人工智能风险则是指人工智能系统在整个生命周期内对人权、民主和法治所造成的不利影响的严重程度和发生概率。上述两份立法文本明显反映出相关制定国家的价值理念和意识形态。由此也可以看出，人工智能风险与其他新兴科技风险的不同之处在于，其所涉及的损害风险类型并不限于人体健康或财产安全这些人们普遍关心并容易达成共识的事项，而且还会涉及基本权利保护、民主、法治等与社会价值观念密切关联的事项。因此，我国未来制定人工智能法时亦应当从我国的国情和价值观念出发，合理界定人工智能风险的范围和立法规制的优先顺序，不应照搬欧美国家立法中人工智能风险的概念界定。事实上，我国在数字技术领域的相关立法中已经注意到了这一点。例如，我国个人信息保护法对“敏感个人信息”的界定和列举的类型与欧盟《通用数据保护条例》（GDPR）对“特殊类型个人数据”的界定就有所不同，反映了我国民众对于敏感个人信息的认识。此外，我国网络安全法和数据安全法将“国家安全”置于突出保护的地位也反映了我国立法者在当前网络数据环境下的立法关切、价值判断与倾向。

　　（三）风险的主观性与客观性

　　“风险”一词蕴含着可能性，而“不确定性”一词亦含有可能性的含义，但是两者的具体含义有所不同。不确定性是一个欠缺精确界定的概念。广义的不确定性，既包括主观的不确定性，也包括客观的不确定性。所谓主观的不确定性，是指人的一种主观状态，反映的是人对外部世界的认知和心理状态。面对相同的事件或处境，不同的人可能做出不同的主观反映。有的人会因为不确定性而感到精神困扰，而有的人则可能对其置若罔闻或安之如故。客观的不确定性，则是某种事件发生与否或产生何种结果的不确定性，是对外部世界的客观反映，不受人的主观状态的影响。

　　作为规制范畴的风险应是指客观的而非主观的不确定性。这是因为，法律规制的对象是人的行为，并不是人的心理或主观状态。法律所要防范的风险应当是客观存在的而不是基于人的想象产生的。如果将主观的不确定性作为法律规制的对象将会产生许多荒谬的、不合逻辑结果。这一点对于人工智能风险规制具有重要意义。事实上，自从人工智能的概念出现以来，在人们头脑的想象中出现了许多人工智能方面的风险，但是，其中许多都是超越现阶段人工智能发展水平而仅凭想象产生的，最具典型性的是许多科幻电影中出现的人工智能失控的风险。人工智能作为一项新技术，其令许多人产生了不安全的感受。有时人们出于偏见的影响，并不能理性地看待新兴技术，往往仅关注损害结果而忽略了其发生的低概率。但是，作为法律规制对象的人工智能风险不能仅建立在纯粹的主观认识基础之上，还必须基于科学的方法对人工智能的潜在风险进行分析，理清哪些风险是客观存在的风险，哪些风险是人们主观想象或偏见产生的风险。另外，由于不同的人对人工智能的风险持有不同的态度，有时差异会非常大，如果以人们对人工智能的主观感受作为风险规制的对象，那么，将会导致立法者和监管机构无所适从。

　　需要说明的是，虽然作为法律规制的人工智能风险只是客观意义上的风险，但是，绝不意味着立法机关或规制机构可以将社会公众对人工智能风险的主观感受完全置之不顾，其应当加强与社会公众之间的沟通交流。环境、食药品等领域的风险规制的教训告诉我们，如果将社会公众对风险的感受完全不予理会，有可能引发信任危机乃至监管机构的政治风险。另外，还需要说明的是，尽管风险具有客观性，但是，如前所述，作为风险定义要素的损害，其含义的界定是无法脱离价值判断和利益衡量的。

　　（四）风险与概率

　　风险，作为一种可能性，既包括损害发生与否的不确定，也包括损害何时发生、以何种方式发生的不确定，以及损害的范围和严重程度的不确定。对于风险的度量一直是风险管理所关注的议题。基于长期以来人们应对风险的经验，目前对风险进行量化分析主要依赖两个指标：一是损失发生的概率，二是损失发生时的严重程度。上述两个指标的乘积常被用来衡量风险发生时的预期损失，其在保险学、经济学等领域被广泛应用。在对风险进行规制时，特别是进行成本效益分析时，亦涉及到上述方法的应用。

　　但是，并非所有的风险或不确定性都是可以度量的。著名的经济学家奈特曾将不确定性区分为两类，一类是可度量的不确定性，即发生概率是可以测算出来的；另一类是不可度量的不确定性，即发生概率完全是无法知晓或测算出来的。为了将上述两类指代的对象区分开来，奈特使用了两个不同的概念，将前者称为风险，而将后者称为不确定性。确实如奈特所言，保险法上的风险都属于可度量的风险，只有那些发生概率可通过精算方法计算出来的风险才具有可保性。但是，如果将风险的概念扩展至其他领域，是否仍应将风险概念限定为可度量的风险，是存在疑问的。

　　在本文看来，将规制意义上的风险也限定为可度量的风险是不合适的，在人工智能的背景下尤其如此。人工智能不同于先前出现的任何一种技术，其技术模式具有不透明性，在目前阶段难以被人类充分认知，其技术风险存在着极大的不确定性。风险代表着对未来的不可知，如果说对于有些“已知的未知”（known unknowns）可以凭借人类的经验和统计学知识在一定程度上计算出损失发生概率或预见到损失程度，那么，对于“未知的未知”（unknown unknowns）则是不可能进行量化分析的，而这两类风险却都是我们需要关注和防范的。因此，对于无法度量的人工智能风险是不能被排除在风险规制范围之外。

　　欧盟《人工智能法》第3条第二款将风险定义为：“风险是指损害发生的概率和损害的严重程度的组合。”其是从风险度量的角度对风险进行定义的，其是否将风险限定为损害发生概率和损失严重程度可事先测定的风险，尚有待解释。

　　（五）规制法意义上的风险与民法上的危险

　　作为规制法范畴的风险与民法上“消除危险”中的危险有相近之处，但亦有明显的不同。两者的相近之处在于，其都含有损害有可能发生但尚未实际发生的含义。两者的不同之处在于：

　　第一，风险关注的是集合意义上的风险而不是个别的、单独的事件。这是因为，只有从集合的角度出发，运用大数法则才能估算出损害发生的概率和损害严重程度，其代表的是各类事件的均值，而个别的、单独的损害事件则有可能偏离均值。民法上的危险，最典型的是我国民法典第179条中的“消除危险”，又被称为妨害防止请求权，其针对的系具体的事实之危险，而对于一般的抽象之危险，并不在其保护范围内。

　　第二，风险代表的仅仅是一种可能性，而民法上消除危险中的危险则强调的是该危险必须是现实存在的、迫切的，对他人人身、财产安全造成现实的威胁，其存在对法益侵害的充分盖然性，而盖然性程度较低的风险并不能引发消除危险的防御措施。

　　第三，民法上的危险是指民事主体的人身、财产权益受侵害的危险状态，围绕危险而展开的相关法律规定系以私权保护为目的。但是，规制法范畴的风险所保护的范围并不限于民事权益，对于公共利益和公共秩序的维护亦在其射程范围之内。

　　第四，对于民事主体所遭受的他人实施的侵害其人身、财产权益的“危险”，权利人可以请求对方消除危险。但是，对于风险，则无法完全排除，特别是考虑到损害发生的可能性以及相关行为有可能带来的益处，有时需要在一定程度上接受风险的存在。

对人工智能风险进行规制的正当性与面临的挑战

　　（一）对人工智能风险进行规制的正当性

　　风险是面向未来的，但是，恰如卢曼所言，未来发生的一切取决于现在所作出的决定，而只有当前决定对于未来损失有重要影响时，人们才会谈及风险。对于那些有可能造成系统性灾害的人工智能风险，不能等到损害实际发生之后再采取行动，对其进行事先规制是必要的、合理的。

　　第一，损害赔偿通常是以损害实际发生为前提的，并且损害须是确定的，只有这样才可计算损害赔偿。风险不同于损害，其发生与否尚存在不确定性，损害的范围与数额亦不确定。因此，风险通常无法满足损害赔偿的要求，对于人工智能风险而言尤其如此。例如，对他人隐私和个人数据造成损害的风险受到各国的关注，但是，对于隐私和个人数据损害风险应当如何进行赔付，在国内外都是一个难题。这是因为，风险具有或然性，且难以被固定化或量化，从而难以计算损害赔偿。

　　第二，人工智能不仅是一种新兴前沿技术，还是一种复杂的技术。人工智能在应用时会涉及人工智能模型设计者、人工智能系统提供者、硬件和软件生产者、服务提供者和用户等多方主体。在当前技术水平下，人们对于人工智能的技术原理认识尚不够深入，当发生损害后，往往难以准确地进行溯源或归因，从而使损害赔偿诉讼中的原告面临证明因果关系的困难、证明人工智能系统存在缺陷或被告存在过错的困难，尤其是原告为普通个人时，其需要付出较高的诉讼成本。当其预期获得的损害赔偿金额较低时，其通常可能因诉讼成本较高选择放弃诉讼。因此，当某一人工智能产品或服务造成大规模的个人损害时，其更适合由监管机构对事故的原因进行调查并承担相关成本，以便判断该人工智能系统是否存在缺陷。

　　第三，人工智能风险规制所关注的风险并不是单个风险，而是集合风险。只有从集合风险而非单个风险中才能运用统计学的方法推测出损害发生的概率。而且，人工智能风险规制所关注的风险也不是个体的权益，还包括社会层面的集体福利。对人工智能进行规制时，需要从社会层面对人工智能活动所带来的成本与效益进行评估分析，在进行整体权衡后作出决策。因此，人工智能风险适合由监管机构通过风险规制的方式来进行，而在一对一的民事诉讼中，法院所关注的是已实际发生的损害如何在原被告之间的分担而非社会层面的权衡。

　　第四，随着人工智能在社会经济生活中的广泛应用，特别是在关键基础设施中的应用，有可能产生重大的系统性风险。此类风险一旦发生，有可能导致大规模的、难以恢复的、社会难以接受的环境损害、人身损害或财产损害。对于此类损害风险，应当在实际损害发生之前而不是等到损害实际产生时再采取行动。对人工智能风险进行事先规制的优点在于：其不像损害赔偿那样消极地事后应对风险，而是可以通过制定技术标准、伦理准则或提出规制要求的方式积极地引导人工智能研发者通过事前合规设计和嵌入伦理要求的方式，实现预防风险或降低人工智能风险水平的目的。

　　（二）对人工智能风险进行规制面临的挑战

　　尽管对人工智能风险进行规制存在一定的正当性，但是，我们也应当认识到，在当前阶段，对人工智能风险进行规制亦会面临许多挑战。只有对这些挑战有清晰的认识，才能够为其选择适当的风险规制路径。就整体而言，对人工智能风险进行规制存在以下挑战：

　　第一，人工智能技术作为一项新兴技术，其技术特征、商业模式尚未定型，目前仍处于不断发展和演变的过程，未来走向尚存在许多不确定性。因此，人工智能风险尚未充分暴露出来，并且呈现出未来多变的特点。这使得立法机关或监管机构难以对人工智能风险作出针对性的监管。同时，既有监管措施还可能由于人工智能技术逻辑或商业模式的变化而很容易变得过时，这种监管的滞后性既有可能产生抑制科技创新的后果，也有可能产生监管失败的后果。例如，欧盟在制定人工智能法时，起草之初将人工智能系统依其风险水平进行了分类规制，看似非常完整并呈现出闭环状态。但是，当生成式人工智能系统出现后，立法者才发现其并没有预见到该类系统的出现，最终，立法者在保留原有的人工智能系统风险分类之外，又创设了通用人工智能模型的概念，并对其单独进行风险分类规制。然而，人工智能技术还在不断演进，在人工智能立法完成之后，谁也无法排除未来是否会出现立法时未曾预见到的新型人工智能，届时如何运用已有的人工智能法律框架对其进行规制将会成为一个难题。

　　第二，对于像人工智能这样的新兴技术，选择恰当的时间点进行规制非常困难。如果说在其早期进行监管可能产生抑制科技创新发展的后果，若等到其充分发展以后再进行监管，则同样会面临监管困境。这是因为，此时的人工智能技术模式已经成熟、固定，且相关应用已经规模化，如果在这时对其进行校正，将会面临高昂的成本，并且会因面临开发者、提供者、用户等多方反对而难以推行。

　　第三，人工智能因其所具有的自主性和不透明性而难以被规制。人工智能具有自主学习和思维的能力，而且这种能力的获得是通过大数据和机器学习算法训练出来的。人工智能算法具有“黑箱”性质，建立在这种算法基础之上的人工智能思维模式是异于人类思维模式的，其输出结果有可能出乎人类的理解能力、预见能力。如果我们无法充分理解人工智能的输出原理，即使在损害发生后也难以对发生原因进行准确的溯源，因此，很难对人工智能进行针对性的规制。

　　第四，人工智能作为一项新兴技术，在监管机构与被监管对象之间存在明显的信息不对称，此将影响监管机构对人工智能科技企业进行规制的有效性。在人工智能技术研发和应用领域，科技企业始终处于前沿。相较于监管机构，科技企业对于人工智能技术的能力、所存在的局限性与风险更为了解，而监管机构则明显处于信息劣势，其往往依赖被监管对象向其提供的有关信息。更为重要的是，大量人工智能领域的专业人士都集中在科技企业，而监管机构的人员中熟悉了解人工智能技术与应用的专业人才则非常少，这使得监管机构难以依赖自身力量对人工智能风险进行分析和评估。

　　第五，人工智能技术作为一项基础性技术，具有泛在性。随着智能化时代的到来，人工智能技术将被嵌入到各种产品和服务之中，其将变得无处不在，在政治、经济和社会生活等各个行业、领域均有应用，且同一种人工智能技术在不同行业、领域的应用可能会呈现出不同性质和程度的风险。因此，对于人工智能风险的规制无法沿用传统的行业风险规制模式。如果对人工智能风险进行全面的规制，则需要将不同行业、领域的监管机构和监管机制整合在一起，这是非常困难和具有挑战性的。

　　第六，人工智能风险与以往的新兴科技风险的不同之处在于，人工智能风险涉及较多的伦理、价值和法律判断，难以通过单纯的技术标准予以规制。环境安全以及食品、药品等传统领域的安全风险，其风险维度通常比较单一，可以借助科学的方法对其进行量化评估，并通过设置安全标准的方法对安全风险进行规制。与之不同，人工智能风险所涉及的风险并不限于人体健康风险，还涉及诸如隐私、人格尊严等领域的风险，亦会涉及妨害社会秩序、公共安全的风险。对于上述风险的识别和控制，都会涉及复杂的利益权衡和价值判断，从而增加了风险规制的难度。例如，关于如何评估人工智能对隐私造成的损害风险，在一定程度上取决于人们的隐私观念和对相关利益的权衡。现实生活中，有的人可能并不在意隐私保护而更愿意接受人工智能产品或服务，但是，也有的人可能更在意隐私保护而对人工智能风险的可接受度较低。

规制人工智能风险的路径选择

　　（一）规制对象的确定

　　风险是客观存在的，但是，法律无法直接管控风险，只能通过规制民事主体及其行为的方式起到规制风险的目的。因此，对于人工智能风险进行规制，首先需要确定的就是法律规制的对象，即那些在人工智能风险管控中处于关键地位的法律主体和相关行为。这就需要将与人工智能风险相关的技术问题和应用问题转化为具体的法律问题，纳入到法律规制的框架中，并通过对相关法律主体施加义务或赋予权利的方式来实现风险规制的目的。

　　从欧盟《人工智能法》来看，其基于欧盟的现行法律框架将人工智能区分为两大类：一类属于产品类人工智能，另一类则是非产品类人工智能。产品类人工智能，既包括人工智能系统本身构成独立产品的，亦包括作为产品安全部件的人工智能系统，其将受到欧盟已有的关于产品安全的相关法律的规制。其中，产品制造商以及进口商、分销商是此类法律最主要的规制对象。非产品类人工智能则是欧盟《人工智能法》的主要规制对象，其主要针对以下四类主体：（1）人工智能提供者，即开发人工智能系统或通用人工智能模型，并以自己的名义将其投放市场或投入服务的主体；（2）人工智能系统部署者，即在其授权下使用人工智能系统的主体；（3）人工智能系统进口商；（4）人工智能系统分销商。其中，前两类主体是最主要的规制对象，大量的法律义务都指向这两类主体。需要注意的是，欧盟《人工智能法》第25条还规定了人工智能价值链上的责任，大幅扩张了“提供者”的范围。依该条规定，如果分销商、进口商、部署者或者任何第三方将自己的名称或商标置于高风险人工智能系统之上，或者对高风险人工智能系统进行了重大修改，或者改变了高风险人工智能系统的预期目的，那么，其将承担高风险人工智能系统提供者的义务。这意味着，即使是人工智能系统的用户，如果其对人工智能系统进行了重大修改，亦有可能因此而被施加承担人工智能提供者的责任。

　　从整体上来看，欧盟《人工智能法》关注的对象是那些投入市场或提供服务的人工智能系统，以及人工智能系统的部署使用行为，而将纯粹的人工智能研发行为排除在外，但是，对于属于真实世界条件下的测试行为仍受该法的规制。此外，欧盟《人工智能法》创设了人工智能监管沙盒制度，为人工智能系统在真实世界条件下的测试提供了受控的环境，以降低人工智能研发风险，鼓励创新发展。

　　在我国，国家互联网信息办公室等部门联合颁布的《生成式人工智能服务管理暂行办法》，将生成式人工智能服务提供者作为主要规制对象，其侧重于对人工智能服务提供者的规制，而将未向公众提供服务的人工智能技术研发、应用行为排除在规制范围之外。从我国有关学者起草的《人工智能法示范法2.0（专家建议稿）》来看，其将相关主体区分为人工智能研发者、提供者和使用者，并将风险防范方面的主要义务施加给了前两类主体。该专家建议稿中的人工智能提供者与欧盟《人工智能法》中的人工智能提供者的含义似有所不同。但是，更为重要的区别在于欧盟《人工智能法》将部署者作为主要规制对象之一，并为其规定了多项义务，特别是要求公法人和提供公共服务的实体在部署高风险人工智能系统之前应当进行基本权利影响评估，这与欧盟《人工智能法》重视对基本权利的保护以及将公法人和提供公共服务的机构作为重点规制对象有关。相比之下，从我国目前有关人工智能风险治理的法律文件以及学者们起草的立法专家建议稿的相关内容来看，其重点关注的是消费者权益保护以及人工智能给社会秩序、公共安全、国家安全带来的风险，因此，其规制的主要对象是作为经营者而非公法主体的人工智能研发者、提供者。

　　（二）横向规制模式与纵向规制模式

　　目前，人类社会正在迈入数字化、网络化、智能化时代，人工智能作为一项底层的基础性技术，在各个行业、领域均有应用的空间。由此产生的问题是，我国未来立法在对人工智能风险进行规制时，应当采取横向规制的立法方式，还是纵向规制的立法方式？所谓横向规制，是指立法不区分行业、领域而就人工智能风险的共同性问题作出一般性规定。所谓纵向规制，是指区分不同的行业、领域而就每一行业、领域中的人工智能风险问题分别予以立法规制。

　　欧盟《人工智能法》采取的是横向规制模式，其中一个重要原因在于，欧盟人工智能立法实际上是欧盟数字战略的一部分，其立法目的之一在于建立统一的欧洲数字市场，以此来确立其在世界人工智能领域的话语优势和市场优势，而采取横向立法模式有助于节约立法成本，使其能够在短期内完成这一立法目标。如果采取纵向立法，则意味着分领域逐一立法，要完成此类立法拼图任务，对于欧盟这样的国际组织而言，其需要经历漫长的立法周期。但是，亦有许多学者对于横向规制模式提出批评意见，其主要理由在于：即使是同一项人工智能技术，其在不同行业、领域的应用会产生性质不同、程度不同的风险。因此，对于人工智能风险进行规制应当立足于具体的应用场景，而统一的一般性立法很难满足这一点。

　　在本文看来，一方面，基于场景的人工智能风险规制是一种理想的模式，可以要求人工智能产品制造商或服务提供者、使用者在进行自我风险管理时采纳这一原则。但是，从立法的角度来看，其会导致法律规则的碎片化，有可能产生立法重复或不一致的现象。另一方面，通过一部立法而将所有行业、领域的人工智能风险问题均囊括在内，这是不可行的，也是不明智的。在本文看来，我国未来人工智能立法宜采取一般法和特别法相结合的方式。首先，我国应当制定一部人工智能法，就各行业、领域的人工智能应用风险中的共同性问题以及风险规制的基本原则和共同的程序性规则作出规定，构建人工智能风险规制的一般性法律框架。然后，在此基础之上，可以就各个行业、领域以及特殊的应用场景中的人工智能风险规制问题作出特别规定，明确风险规制中具体的实体性规则、标准等，构建人工智能风险规制的特别法规则。

　　其实，如果仔细研究欧盟《人工智能法》就可以发现，其在对高风险人工智能进行规制时，主要是确立了一套程序性规制规则，而将大量的实体性问题留给标准来解决。技术标准与法律规则不同，其可以更加具体化、行业化、场景化。另外，欧盟将那些构成产品安全法意义上的产品或产品安全组件部分的人工智能系统纳入到了欧盟产品安全法的规制范畴。就目前而言，世界上尚没有一个国家能够通过一部立法来规制所有的人工智能风险。

　　（三）行为规制模式与赋权模式

　　从理论上讲，对人工智能风险进行规制，可以采取两种不同的规制模式。一种是行为规制模式，即对人工智能的设计、研发、测试、部署、使用，以及上市后的维护、更新、召回等贯穿人工智能系统全生命周期的行为予以系统性规制，通过对相关行为人设定行为规范、施加法律义务的方式实现控制风险的目的；另一种模式是赋权模式，即赋予与人工智能风险相关的受影响的主体以一定的权利，通过权利人向义务人主张、行使权利的方式，起到控制人工智能风险的目的。

　　欧盟在个人数据领域的立法《通用数据保护条例》（GDPR）采取的就是赋权模式，其通过赋予个人数据主体多项权利的方式来控制个人数据处理的风险。其中，《通用数据保护条例》第22条被认为是一项涉及人工智能的条款，其规定个人有权不接受仅基于个人数据自动化处理所形成的决策，并规定在法律允许进行自动化决策的情况下，个人有权要求数据控制者进行人工介入或有权对抗（contest）自动化决策结果。但是，欧盟在制定《人工智能法》时，从整体上看，并没有采取赋权的模式，而是选择行为规制模式，除了该法第85条规定的投诉权以及第86条规定的个体决策解释权以外，其主要是通过给人工智能系统提供者、部署者等主体施加义务的方式来实现控制风险的目的，该法律实施机制主要依赖监管机关自上而下的监管而不是权利人主张权利的方式。有一些学者对于欧盟采取的此种立法模式提出了尖锐的批评，并指出，尽管欧盟《人工智能法》的立法者一再宣称其将基本权利保护作为立法的主要目的之一，但是欧盟《人工智能法》却并未赋予那些有可能遭受基本权利损害的主体以对抗人工智能提供者、部署者的权利，也未规定权利受害者的损害赔偿请求权，而仅是要求人工智能部署者自主进行基本权利影响评估，该种方式能否实现保护基本权利的目的是令人怀疑的。在我国，亦有一些学者主张通过赋予人工智能相对人权利和给人工智能提供者、使用者施加义务的方式规制人工智能的应用风险。

　　从本质上来看，人工智能风险规制究竟应当采用行为规制模式还是赋权模式，取决于立法目标，即立法者所要重点防范的人工智能风险的类型与性质。对于系统性、社会性风险以及公共安全风险，因为该类风险属于集体风险而非个体风险，所以需要在社会集体的层面对相关风险进行评估和成本效益分析而作出应对风险的决策。因此，该类风险难以通过个体赋权的方式来实现，而宜采用系统化的行为规制模式。但是，对于那些有可能造成个体权益损害的风险，特别是那些涉及人格尊严损害的风险，在对人工智能提供者予以行为规制的同时宜辅之以对个体赋权的方式予以规制。所谓个体权益，不宜狭隘地理解为私法上的民事权益，亦应当包括公法上的权利，例如，当公权力机构使用人工智能系统进行自动化决策而作出不利于相对人的决策时，应当赋予相对人一定的权利，以保障其享有受正当程序保护的权利。

　　采用个体赋权辅助行为规制的方式可以补足单纯采用行为规制的缺陷。从当前世界上一些国家的人工智能立法或人工智能风险治理框架来看，其在对人工智能提供者进行行为规制时，所制定的行为规范都是非常抽象的，严重依赖技术标准来填充，依赖评估、认证来保障行为主体遵守相关标准。但是，通过技术标准和评估、认证的方式来规制人工智能风险却具有固有的局限性。这是因为，在对人工智能风险进行识别和评估时，并非仅涉及技术问题，还会涉及诸多合法性判断、价值理念以及利益权衡问题，此并非技术标准制定机构所能胜任的。而所谓的自我评估或者第三方认证，往往都是封闭的行为，那些真正受到损害风险影响的当事人往往没有机会参与其中，也没有办法向评估者、认证者反馈意见。与之不同，采用个体赋权的方式，则可以通过权利人主张、行使权利的方式向人工智能提供者、部署者反馈其意见，并可以通过司法裁判的方式来解决人工智能风险规制中的合法性判断等难题，从而将人工智能技术风险转化为法律问题而纳入到法律框架中进行解决。另外，行为规制模式主要依赖监管机构以自上而下的方式来推行，但是，监管机构往往受限于人力、物力等执法资源的约束，并不能对监管对象进行全面的监管。而在个体赋权的模式下，私人法律实施机制则可以有效弥补政府监管力量的不足。

　　（四）基于风险的规制模式

　　在风险规制方面，人类社会已经积累了许多经验，并形成了许多不同的规制策略与模式，可供我们在规制人工智能风险时借鉴。尽管风险规制模式有许多种类型，但是，从对待风险的态度以及所采取的规制策略上来看，风险规制模式在整体上大致可分为两类，即预防原则模式和基于风险的规制模式（risk-based regulation），后者又进一步衍生出许多升级版模式，例如真正的回应式基于风险的监管模式（really responsive risk-based regulation）。

　　所谓预防原则，系源自于德国环境法上的一种风险规制模式，后被世界上许多国家和一些国际公约所接受，应用于环境污染、气候变化、药品监管和核设施监管等领域，其基于监管的强度又可分为多种不同版本。其中，较弱的一种版本可表述为，当一种活动威胁到人类健康、安全或环境时，不得因为其中的一些因果关系问题尚未得到科学上的证实而反对采取预防措施；在这种情况下，应当由该风险活动的开展者，而不是社会公众，承担举证责任。而关于风险预防原则最严格的一种表述版本是指，对于那些有可能造成严重损害的具有不确定性的活动，应当予以禁止，除非支持这些活动的人能够证明其没有可察觉的风险。我国核安全法所规定的核设施安全许可制度体现的就是严格意义上的风险预防原则。所谓基于风险的规制模式（risk-based regulation），其思想最初源自于英国的一则判例，其强调避免风险的成本应当与风险的损害程度相适宜。后来该思想被英国政府用于指导监管机构合理分配监管资源以应对监管风险，并逐渐扩展成为风险规制领域的一项原则。其首先要求监管机构确定风险规制的目标并明确对损害风险的容忍度和容忍水平；然后，对监管对象进行风险评估，测定其风险水平并对其进行分类；最后，由监管机构根据其监管目标和监管对象的风险水平，采取差异化的监管措施，合理地分配监管资源。

　　对于人工智能风险，应当采取何种监管模式，取决于立法者对人工智能风险性质的认识。在本文看来，就人工智能技术本身，其功能和类型具有多样性，风险程度具有可塑性、变化性，除极少数应用于高风险领域的场景以外，不适宜采用像对待药品、核设施那样的严格意义上的风险预防原则。因为，如果采用预防原则，则意味着，在人工智能提供方未能证明其提供的人工智能产品或服务具有充分的安全性之前，就不能将其投入市场。这就会产生一种悖论。人工智能是一项新兴的、正处在发展中的技术，人们对其风险尚未有充分的认识。如果不允许其投入市场进行应用，人们就永远无法充分了解其风险；如果允许其开展市场应用，则有可能发生损害风险，从而无法实现风险预防的目的。对于那些有可能造成系统性、灾难性损害的人工智能，采取风险预防模式或许还具有一定的合理性。但是，对于其他类型的人工智能，如果采用严格意义上的风险预防原则，则会过度抑制人工智能的发展。

　　基于风险的规制模式更适合于一般意义上的人工智能风险，其出发点是承认监管机构的监管资源是有限的，不可能也不应该防范所有的风险，而是有所区分、有所选择地进行风险规制，从而最大程度地提高监管效率。这种区分、选择是通过运用成本效益的分析方法得出的。在基于风险的规制模式下，可以将风险区分为三个层次，即不可接受的风险、可容忍的风险和可接受的风险。对于不可接受的风险，因其风险程度很高或损害结果难以令人接受，所以必须采取预防性的干预措施。对于可容忍的风险，可以接受其存在并应在合理可行的范围内尽可能降低其风险程度。对于可接受的风险，因其风险程度很低或风险防范成本过高，所以可不对其采取风险预防措施。从这个角度来看，欧盟《人工智能法》采取就是基于风险的规制模式，其基于风险程度的差异而将受到法律规制的人工智能区分为被禁止的人工智能行为、高风险的人工智能系统、低风险的人工智能系统（特定的人工智能系统）。实际上，该法还隐含着另一类广泛存在的人工智能系统，即因风险程度更低而无需受到法律事先规制的人工智能系统。2023年11月在英国召开的人工智能安全峰会所发布的《布莱彻利宣言》亦主张对人工智能安全风险采取基于风险的规制政策，我国亦参加了对该宣言的签署。我国在网络安全领域一直坚持追求相对的安全而不是绝对的安全，强调“要立足基本国情保安全，避免不计成本追求绝对安全，那样不仅会背上沉重负担，甚至可能顾此失彼”。在人工智能领域，我国亦应当坚持该原则，统筹发展和安全，采用基于风险的规制模式，合理确定可接受的风险。

　　需要说明的是，所谓可容忍的风险、可接受的风险，不宜理解为是一种客观的、确定的风险，更不宜认为符合可接受的风险便是安全的，其实际是决策者采用一定的决策方法而做出的在决策者看来是最佳的选项。事实上，人们所接受的是决策项，而不是风险。安全作为与风险对照的概念，如果风险是指损失发生的概率，那么，安全亦是如此。因此，即使是可接受的风险，亦不代表绝对的或确定的安全，其仅仅代表一定程度的安全。

　　在确定可接受风险时经常采用的决策方法是成本效益分析方法。人工智能技术本身具有中立性，既有产生损害风险的一面，亦有提高经济效率和增进社会生活福祉的一面。因此，在确定可接受的人工智能风险时，不仅要考虑到人工智能可能造成损害的可能性与严重程度，以及防范此类人工智能风险需要付出的成本，还要考虑到应用人工智能有可能带来的积极收益。这意味着，可接受的风险未必是风险最低的那一个选项。在人工智能风险水平不变的情况下，人类社会对人工智能风险的可接受度会随着人工智能所带来的收益的增加不断提高。承认可接受风险的存在并使其豁免监管，不仅对于监管效率的提高、监管资源的优化具有重要意义，还可以避免过度监管造成的抑制人工智能创新发展、过度干预个体权利的后果。与此同时，我们也应认识到成本效益分析方法亦具有一定的局限性，特别是当我们从社会层面对风险进行成本效益分析时，往往会忽略个体对风险可接受程度方面的差异，从而使得可接受风险的确定成为一个富有争议的社会话题。

　　（五）人工智能风险规制的多方位性

　　若要对人工智能风险进行有效的规制，必须采取与其特点相适应的规制方式，从而使得人工智能风险规制具有多方位性。

　　首先，人工智能风险作为一种正处于发展中的科技风险，具有变动性和较强的不确定性。因此，对人工智能风险的规制亦应保持一定的弹性与动态性，且应随着风险的变化而及时作出调整。这意味着，对于人工智能的监管，不仅需要在其上市之前进行风险评估，在其上市之后，亦需要持续监管，并依照风险的变化而持续更新监管手段。例如，可采取撤销许可、强制召回、强制性人工干预等措施。但是，规制方式的动态性、可变性可能与法律的安定性、可预期性相冲突，并有可能损及行政相对人的信赖利益。因此，监管机构需要在作出相关决定时应进行利益权衡，并在必要时对受到影响的人工智能提供者作出合理的补偿。

　　其次，鉴于在监管机构与人工智能行业之间存在信息不对称和人才不对称，行业企业对于人工智能风险是最先感知的，也是最了解的。因此，在对人工智能风险进行规制时，仅依赖自上而下的政府监管是不够的，还必须配以企业自我规制、第三方规制。例如，欧盟《人工智能法》要求高风险人工智能提供者应当建立质量管理体系，并要求高风险人工智能系统的部署者开展基本权利影响评估，都体现了企业自我规制的特性。第三方规制在欧盟的人工智能风险规制体系中亦发挥着重要作用。例如，在规制高风险人工智能系统时，技术标准以及第三方评估和认证发挥着关键作用，其背后的标准制定机构、第三方评估机构或认证机构都在发挥着民间规制者的作用。

　　最后，人工智能系统的内在安全与外在安全同等重要。鉴于人工智能的复杂性、不透明性和高度的不确定性，其不仅存在“已知的未知”，还存在“未知的未知”。如果说对于“已知的未知”风险尚可采取一些预防性措施，而对于“未知的未知”风险则难以进行针对性的防范。因此，在保障人工智能系统的安全性方面需要采取恰当的策略，对此可借鉴网络安全领域的经验，以增强系统的韧性（resilience）和降低受攻击后的损失为目标。这意味着，即使某些类型的风险是事先无法防范的，只要在攻击或损害事件发生后，人工智能系统能够迅速地恢复其正常功能或者能将损害控制在最低限度内，亦能在一定程度上保证其安全性。

人工智能风险规制与事后救济的衔接

　　相对于事先规制，以损害赔偿为代表的事后救济亦是应对人工智能风险的一种方法。与事先规制不同，事后救济是以损害实际发生为前提，若无损害发生则不进行干预，从而可以避免事先规制有可能导致的判断错误、监管过度、抑制创新以及限制权利人自由等负面效应。

　　在应对人工智能风险时，事先规制与事后救济既存在互相替代的关系，亦有并行互补的关系。如前所述，被纳入事先规制范围的人工智能风险仅是风险程度较高的一类风险，而大量的人工智能风险，因其风险程度较低或防范成本较高并没有被纳入到事先规制范围，对其主要依赖事后救济的方式予以应对，即通过事后损害赔偿责任的威慑，促使人工智能产品制造者或服务提供者事先采取风险防范措施来消除或降低损害风险。

　　对于那些被纳入事先规制范围的人工智能风险，亦有事后救济存在的空间，从而呈现出两种机制并行的现象。首先，所谓事先规制，特别是基于风险的规制，其目标并不是消灭所有的风险，而是基于成本效益的考量，将风险控制在合理的范围内，这意味着会有一部分风险转化为实际的损害，该种损害仍需要进行事后救济。其次，无论是自上而下的政府监管，还是企业的自我规制，通常都没有那些受到人工智能风险影响的权利人的介入；而事后救济则可以通过权利人向人工智能产品制造者或服务提供者请求损害赔偿的方式反馈其所采取的风险防范措施的效果，促进人工智能企业在前端加强对风险的防范。

　　在对人工智能的事先风险规制与事后救济并存的情况下，如何实现两者之间的相互衔接，是一个值得关注的问题，其实质上是如何处理规制法与侵权法关系的问题，对此从法理分析和比较法借鉴的角度来看，存在多种方案。

　　首先，对于人工智能风险所导致的损害赔偿，有两种责任机制，即产品责任和一般侵权责任。就人工智能产品责任的构成而言，最关键之处在于对于人工智能产品的缺陷认定；对此，可以将那些未达到或违反了人工智能风险规制法所确立的行为规范或安全标准的人工智能产品，推定其具有产品责任法意义上的缺陷，从而可以缓解受害人证明人工智能产品存在缺陷的困难。欧盟目前正在修订中的《产品责任指令》（修订草案）采取的就是这种方案，但是，其强调只有违反那些旨在防范损害风险发生的强制性安全标准，才会产生推定缺陷存在的效果。

　　其次，就人工智能系统或人工智能服务所产生的一般侵权责任而言，其关键之处在于过错的认定。客观意义上的过错是指未尽到合理的注意义务，而对于人工智能系统这样非常复杂的对象而言，在确定其提供者的合理注意义务时，可以参考人工智能风险规制法中所确立的防范人工智能风险的行为规范或安全标准。

　　第三，在德国或深受德国民法影响的国家中，违反以保护他人为目的的规范构成一种独立侵权行为类型，基于此，可以通过识别和适用人工智能风险规制法中具有以保护他人为目的规范，来实现人工智能规制法与侵权责任法之间的衔接。

　　第四，违反人工智能风险规制法所确立的防范人工智能风险的行为规范或安全标准，亦有可能对于侵权损害赔偿中因果关系的认定产生影响。例如，依欧盟正在起草中的《人工智能责任指令》（草案）第4条的规定，当高风险人工智能提供者未能遵守欧盟《人工智能法》中的特定条款时，有可能产生推定人工智能提供者的过错行为与损害结果之间存在因果关系的效果。

结语

　　人工智能作为人类进入智能化时代的一项基础性技术，在未来有着广泛的应用空间，其在使人类生活更美好的同时，也让人类社会处于前所未有的风险中。人工智能风险具有不确定性、不透明性、泛在性以及变动性等特点。人工智能风险并不是单纯的技术风险问题，而是涉及复杂的伦理、价值与法律判断，从而给人工智能风险规制带来挑战。在对人工智能风险进行规制时，其立法模式宜采用总分结合的方式；在设计法律规范时，宜在采用行为规制模式的同时辅之以赋权模式；在选择规制方案时，应采用基于风险的规制模式，对人工智能风险进行评估、分类和区别对待，合理确定可接受风险，保持风险规制体系的开放性、动态性和韧性。人工智能风险事先规制的目标并不是排除所有的风险，而是将风险控制在合理的范围内。因此，人工智能致损难以完全避免，损害发生后的救济机制的存在是十分必要的。如何实现人工智能风险规制机制与事后救济机制之间的相互衔接，是一个值得进一步深入研究的问题。

END

往期回顾

头条 | AIGC辅助绘画侵权案

聚焦 | 歌词、编曲都不一样还会侵权？揭秘音乐行业的“克隆危机”

头条｜生成式人工智能训练数据的软硬法协同治理研究

http://mp.weixin.qq.com/s?__biz=MjM5MjYwOTg1NA==&mid=2649600132&idx=1&sn=d04c24325e345cc6a04f2a701b73b632

版话

版话运营主体中视瑞德，多年服务于国家级广播电台电视台、互联网公司、融媒体机构、新媒体行业，通过版话自媒体与您分享文化传媒行业内的热点、动态、原创文章。