上政学报 | [瑞] 米里亚姆·布伊滕等著，张韬略、陈沪楠译：人工智能责任的法律与经济学

人工智能责任的法律与经济学

人工智能系统的应用对责任规则提出了挑战，需要辨识这些挑战，评估责任规则的调整方式，以应对这些挑战。首先，人工智能系统的不可预测或（半）自主运行的特征会引发责任漏洞；其次，当生产者难以预见人工智能系统的瑕疵以及使用者的监控职责也难以界定时，人们在证明过错和因果关系方面会遭遇问题；再次，从经济学的角度探讨哪些责任规则能够最大限度地降低与人工智能相关的损害成本；最后，基于对风险和最优责任规则的分析，对欧盟最近发布的《产品责任指令》和《人工智能责任指令》提案进行评估。

人工智能责任；欧盟法；人工智能法；产品责任指令

作者：米里亚姆·布伊滕（Miriam Buiten），欧洲监管中心研究员、圣加仑大学法学院助理教授；亚历山大·德·斯特里尔（Alexandre de Streel），那慕尔大学法学院教授、欧洲监管中心数字研究项目学术主任；马丁·佩茨（Martin Peitz），曼海姆大学经济系教授、曼海姆竞争与创新中心主任。

译 者：张韬略，同济大学法学院互联网与人工智能法律研究中心副教授、博士生导师；

陈沪楠，同济大学法学院互联网与人工智能法律研究中心助理研究员。

[瑞] 米里亚姆·布伊滕（Miriam Buiten）、[比] 亚历山大·德·斯特里尔（Alexandre de Streel）、[德] 马丁·佩茨（Martin Peitz） 著，《人工智能责任的法律与经济学》，张韬略、陈沪楠译，《上海政法学院学报》(法治论丛)2024年第4期。

一、引 言

二、欧盟现有的安全和责任监管框架

（一）安全监管

（二）责任规则

三、识别人工智能系统责任规则的漏洞

（一）与人工智能相关的风险

（二）与人工智能特征相关的责任漏洞

四、有效的人工智能责任规则

（一）责任标准：过错责任或严格责任

（二）谁应当承担责任

（三）高效人工智能责任规则的考虑因素

五、调整欧盟人工智能责任规则

（一）修订后的PLD下的人工智能生产者责任

（二）拟议的《人工智能责任指令》下的人工智能操作者责任

六、结 语

一、引言

人工智能（AI）系统有望在多个领域提高社会福祉和效率，包括医疗、交通和消费品。人工智能系统可提供解决问题的新方法并具备更好的决策潜力。但人工智能的潜在缺点之一是人类难以预测这些系统可能产生的错误，尤其是这些系统以（半）自主的方式运行时，人类对其运行的掌控将更少。因此，当人工智能应用具有不可预测性和自主性的特征时，它们很难被纳入现有的责任框架之中。

本文提出人工智能对现有责任规则的挑战，评估了责任规则应如何调整以应对这些问题，重点讨论了如何就人工智能相关损害在生产者和使用者之间进行责任的分配。

特别是，本文重点探讨了在人工智能行为无法合理预见的情况下什么构成过错，在人工智能设计与损害之间没有可预测联系的情况下如何证明因果关系，以及在人工智能系统以（半）自主方式运行的情况下如何界定生产者与使用者的责任。

本文以欧盟委员会 2022年 9月发布的提案为对象，探讨了这些问题。该提案旨在审查《产品责任指令》，并为人工智能系统的使用者引入具体的欧盟责任规则。虽然《产品责任指令》拟议审查旨在澄清数字经济中的产品责任概念，而拟议的《人工智能责任指令》则寻求规定涉及人工智能系统诉请的具体程序规则。

本文探讨了这些欧盟提案在界定谁应承担责任、适用何种责任标准以及协调欧盟的程度方面是否达到了平衡，同时还审查了专门针对人工智能的非合同责任规则的必要性，并思考这些规则与其他监管工具的相互作用。本文的规范框架基于对法律的经济分析，其中涉及责任规则将如何影响生产者、使用者和其他受损者积极性的思考。

本文结构如下：第一部分为引文；第二部分阐述了更广泛的监管框架，包括与责任规则互补的相关安全监管、适用于欧盟成员国的一般责任标准，以及欧盟对生产者与人工智能使用者责任的提案；第三部分辨析了人工智能独特特征所导致的责任漏洞；第四部分探析了有效的AI责任规则，讨论了哪些主体应承担责任以及何种责任标准是有效的；第五部分更细致地讨论了哪些修改对欧盟《产品责任指令》是适当的，并评估了欧盟建立人工智能操作者责任制度的必要性；第六部分概述全文并得出结论。

二、欧盟现有的安全和责任监管框架

非合同责任规则只是更广泛法律框架的一部分，后者包括合同责任规则、一般安全规则以及适用于高风险部门的因部门而异的特定责任和安全规则。人工智能系统的监管框架与责任相关联，因为后者可能会降低风险并有助于明确相关方的注意义务。许多人工智能系统可能受一般或特定领域的欧盟安全法规的覆盖，而拟议的《人工智能法》和《网络安全法》则规定了降低人工智能系统风险的具体义务。

（一）安全监管

在欧盟内部，产品安全规则主要是事前的，分为两个层次的立法：一方面，某些行业或产品适用一些特别法律规范（如下文所述）；另一方面，在没有特别要求的情况下，适用《一般产品安全指令》（General Product Safety Directive，GPSD）规定的一般规则。该指令旨在确保制造商向市场提供的消费品必须是安全的。特别是，GPSD要求生产者和分销商向消费者提供安全的产品，采取一切可能的措施识别其产品的任何危险，告知消费者这些危险的存在，并在必要时将危险产品从市场上召回。在对GPSD进行审查后，欧盟委员会建议将GPSD转换为条例，并发布了《一般产品安全条例》（General Product Safety Regulation，GPSR）的提案，拟议的GPSR旨在规范新技术带来的安全风险。除了GPSD或即将出台的GPSR外，还有《市场监督条例》（Market Surveillance Regulation），其规定了认证和市场监督的要求。

关于网络安全风险，《网络安全法》引入了适用于ICT产品、服务和程序统一的欧洲认证框架。这些产品、服务和程序需要经过认证，并分配一个安全级别。该认证框架应该能够降低网络安全漏洞的风险，因此是责任框架的重要补充。此外，拟议的《网络弹性法》将在欧盟范围内对数字产品的整个生命周期提出网络安全要求。该提案旨在为开发软硬件产品设定欧盟最低网络安全标准，并对供应链中的不同参与者规定具体义务。制造商必须进行网络安全风险评估、合格评定程序和履行披露义务。提案还要求制造商确保其产品具有CE标志，如果使用第三方零件，需要对供应商进行尽职调查，并记录其行为。

在人工智能的特定背景下，拟议的《人工智能法》旨在引入人工智能监管框架，规定开发和使用“高风险”人工智能系统的义务，并禁止特定有害的人工智能系统。特别是，高风险人工智能系统需要进行合格评定。拟议的《人工智能法》有意规定了宽泛的人工智能定义，但其确切范围仍在讨论中。

对于高风险行业，欧盟产品安全框架使用特定行业规则以补充横向规则。例如：在医疗领域，适用《医疗器械管理条例》和《体外诊断医疗器械管理条例》；在交通领域，适用《一般车辆安全管理条例》、《车辆审批和市场监督条例》和《机动车辆保险指令》；在机械设备领域，适用《机械指令》，并且需要欧共体安全合格认证方面的CE声明。

（二）责任规则

1. 责任标准

在大多数成员国，过错责任是普遍的标准。根据过错责任制度提出损害赔偿诉求时，请求人需要证明侵权人有过失、他们遭受了损害并且损害行为与损害结果之间存在因果关系。然而，证明这些要件对受害方来说可能是一个挑战。这就是为何立法者（或判例法）针对某些特定情况为确保请求人更容易获得损害赔偿而引入其他更有利于请求人的责任制度的原因。

一种有利于提起损害赔偿请求的方式是：在坚持过错责任制度的同时倒置举证责任。可反驳的过错或因果关系推定可以帮助请求人获得赔偿，同时减少受害方和侵权人之间的信息不对称。推定制度可出现于产生不同类型风险和损害的各种事实状况，例如父母对其子女造成损害的责任、雇主对代表其行事的雇员的责任、建筑物所有人的责任或从事危险活动者的责任。

使责任制度更有利于请求人的另一种方法是：摒弃以过错为基础的责任规则，改变请求人需要证明的要件。在严格责任制度下，请求人只需证明不法行为人没有履行义务（default）或承担的风险，这比证明侵权人的故意或过失更容易。当损害的可能性与特定风险群体的不可预测行为相关联时，应合理引入严格责任标准。在这种情况下——例如针对动物或儿童等自主第三方的责任规则——我们会将责任归属于负责监督第三方的个人，因为他们被认为最有能力采取措施预防或者至少减少风险。设置严格责任的正当性还在于风险活动的危险性。一些司法管辖区可能将责任归于从事此类危险活动的人（例如核电站操作员、飞机驾驶员或汽车司机）或对危险活动最终负责的人（例如车辆所有者）。其理由通常是，这类人制造了风险，而该风险造成了损害，同时这类人也从这种活动中获得了经济利益。这些严格责任制度可以适用于产生不同风险和损害的各种实际情况，例如动物所有者对其动物致损的责任、从事特定危险活动者的责任、为他人（雇员/ 雇主）利益执行任务者或受其监护的物体致损的责任。

由于严格责任制度的天平在向请求人倾斜的同时牺牲了责任人的利益，因此通常伴随着限制性原则，特别是在可损害赔偿的类型和数额方面，请求人如果寻求超出严格责任范围的损害赔偿，则需根据过错责任对责任人提起补充诉讼。严格责任制度还可以与强制性保险要求相结合，以减少请求人未获补偿的风险。

2. 《产品责任指令》及其修订提案

1985年通过的欧盟《产品责任指令》（Product Liability Directive，PLD）建立了严格责任制度，其中生产者对其缺陷产品承担责任，无论该缺陷是否由其过错所造成。PLD是一项技术中立的法律制度，完全统一了整个欧盟的产品责任规则。它适用于在欧洲经济区销售的任何产品，并设置了3年的损害赔偿诉讼时效。PLD将责任归于“生产者”（PLD第1条），生产者包括成品的制造商、任何原材料的生产者或部件的制造商，以及将其姓名、商标或其他显著特征放在产品上从而将自己表现为生产者的任何人。

在过去的几年中，欧盟委员会发现在数字、互联和自主系统背景下适用PLD条款存在几个问题。一个挑战是复杂的产品或服务价值链，供应商、制造商和第三方之间存在相互依赖关系；另一个问题是数字商品法律性质的不确定性，即它们是产品还是服务。拥有自主能力的技术也对产品责任提出了具体问题。专家组报告和人工智能白皮书都得出结论认为，需要澄清PLD中的一些关键概念以应对新兴的数字技术。欧洲议会也呼吁欧盟委员会“审查指令，考虑调整‘产品’、‘损害’和‘缺陷’等概念，并调整相关举证责任规则”。

2022年9月28日，欧盟委员会提出了修订版PLD（以下简称“PLD提案”），以使其适应数字时代。PLD提案拓展了损害、产品、缺陷和责任方的概念，扩大了“产品”的范围。根据当前的欧洲法院判例法，PLD适用于有形商品。PLD 提案则明确将无形的软件和数字制造文件列为产品。

根据PLD，生产者在产品有缺陷的情况下应承担责任。PLD将“缺陷”产品定义为：在考虑了所有情况之后，无法提供消费者有权预期的安全性的产品。这些考虑因素包括诸如产品的展示、合理预期的产品用途以及投入流通的时间。对缺陷的评估应考虑“产品投入流通的时间”。这个概念引起了解释上的问题。PLD提案扩展了用于评估产品缺陷的非穷尽式的情况列表。该列表目前包括：“（a）产品介绍，包括安装、使用和维护说明；（b）合理可预见的产品使用和误用；（c）部署后产品持续学习能力对该产品的影响；（d）可合理预期与产品一起使用的其他产品对该产品的影响；（e）产品投放市场或投入使用的时间，或者如果制造商在此之后仍对产品保持控制，则考虑该产品脱离制造商控制的时间。”

PLD提案将“责任方”从生产者扩展到“经济操作者”（the economic operator），经济操作者被定义为“产品或部件的制造商、相关服务的提供商、授权代表、进口商、履行服务的提供商或分销商”。

PLD将“损害”定义为死亡、人身伤害、对产品或其他财产的损害。缺陷的概念侧重于消费者对人身伤害的安全预期，不包括可能的隐私损害、网络安全缺陷或物联网产品可能产生的其他风险。PLD提案增加了“非专门用于专业目的的数据丢失或损坏”作为可赔偿的损害类别。

3. 拟议的《人工智能责任指令》

拟议的《人工智能责任指令》将围绕人工智能所有者和使用者的民事责任制定统一规则。该提案补充了PLD，并遵循了拟议的《人工智能法》有关高风险的定义。它预见了原告获取被告证据的规则，允许（潜在）原告请求获取涉嫌造成损害的特定高风险人工智能系统的相关证据。国家法院监督并命令被告披露和保存证据。如果被告未能遵守法院关于证据处理的命令，则推定其未履行注意义务，被告可以通过提交相反的证据来反驳该推定。

此外，该提案引入了被告过错与人工智能系统输出（或无输出）之间存在因果关系的可反驳推定。为了适用该推定，需要满足三个要件：（1）原告证明被告有过错；（2）过错影响人工智能输出/故障的合理可能性；（3）原告证明人工智能的输出/故障引起了损害。对于拟议的《人工智能法》所定义的有限风险人工智能系统，只有在国家法院认为原告证明因果关系过于困难时，该因果关系推定才适用。

除了上述例外，拟议的《人工智能责任指令》原则上适用于高风险人工智能系统。拟议的《人工智能法》根据两个要件界定何谓高风险AI系统：一是人工智能系统意图用作产品的安全组件，或其本身就是拟议的《人工智能法》附录II所列的欧盟统一立法所涵盖的产品；二是产品的安全组件是人工智能系统，或者人工智能系统本身作为产品，而且该产品必须根据列在附录II中的欧盟统一立法进行第三方合格评定。

三、识别人工智能系统责任规则的漏洞

为了识别欧盟责任规则在涉及人工智能系统诉请方面的漏洞，我们需要评估人工智能的特征如何影响法律责任的诉请。本部分不再赘述关于人工智能本质的众多在先文献，而是重点关注人工智能的关键特性及其对风险、潜在损害类型以及责任证明的影响。

（一）与人工智能相关的风险

人工智能是一个涵盖各种依赖算法的技术的总称，这些技术具有不同的特点，并被设计用于不同的应用领域。人工智能的定义包含其具备感知智能、自主行动能力以及以不可预见的方式演变的特征。从技术角度来看，显然并不是所有的算法都是人工智能。然而，关于哪些算法子集构成人工智能，如机器学习算法或神经网络，人们至今还没有达成共识。拟议的《人工智能法》将人工智能定义为使用机器学习、基于逻辑和统计方法开发的软件，且该软件能够生成影响其交互环境的输出。欧盟人工智能高级专家组报告认为，复杂性、不透明性、开放性、自主性、可预测性、数据驱动性和脆弱性都是人工智能的独特特征。在我们为基于人工智能的技术确定适当的法律责任制度时，考虑这些特征如何影响人工智能的风险是有意义的。

第一，人工智能可能因为涉及多个利益相关者和人工智能组件的相互依赖性而变得复杂。数字商品的各个部分（例如硬件和数字内容）可能由多方参与制造并分别进行销售。这可能使得追踪故障源或将故障责任归于单一制造商变得困难。受损方可能不得不面对硬件制造商、软件设计师、软件开发人员、设施所有者或其他相关方。消费者可能难以证明他们的产品为何不起作用。他们手头可能根本没有有形产品——相反，基于人工智能的技术，或更广泛地说，数字技术可能是作为服务提供的。而且，无论人工智能系统是作为产品还是服务，都可能有多方参与生产或提供。

多个利益相关者的参与并不是新现象，也不仅限于人工智能系统。许多产品例如汽车的生产就涉及各种利益相关者，且它们都通过欧盟现有的责任制度有效地得到监管。然而，在人工智能系统的生产或提供过程涉及多方参与时，需要明确分配各方的责任。在争讼的情况下，可能会出现在个案中哪一方应当负责确保安全性和兼容性的问题。例如，如果人工智能应用程序由于没有在足够丰富的数据上进行训练而出现错误，就可能出现这种情况。

一个相关的问题是，对数据驱动的概率性人工智能系统而言，风险可能是相互关联的。如果来自不同制造商的人工智能系统的相互依赖组件引发了兼容性问题，则可能会增加与人工智能相关的损害风险。传感器或硬件等有形设备与软件组件和应用程序、数据本身、数据服务以及链接功能相互作用。随着这些系统的互联，人工智能系统可能会变得更加脆弱，因此出现意外或连锁问题的风险也会增加。

第二，人工智能系统可能具有不透明性。透明度的缺乏可能使因果关系的确认变得困难，因为人们不清楚输入是如何导致输出的。受害方可能无法意识到自己受到了损害，或者无法追溯损害的来源。因此，不透明的人工智能系统可能导致决策者难以对这些系统的结果负责或承担责任。

第三，随着人工智能系统变得越来越自主，很难将最终结果追溯到人类的某些决策，并将责任归咎于某个具体的行为者。自主性将控制权从使用者手中乃至可能从制造商手中转移出去。能够独立行动的人工智能系统可能是不可预测的。自主人工智能系统的运作不一定像传统工程系统那样可以理解和预测。如果制造商无法预见人工智能应用程序在投放市场后如何决策或行动，那么如果人工智能造成损害，可能就难以追究他们的责任。同时，如果人工智能系统自主运行，使用者对这些系统的控制权势必将更少——例如，吸尘机器人理应独立工作从而节省消费者的时间。

系统的自主性应当与其自动化程度相区分。一个系统可以是自动化的，但其输出完全是预先编程的。具有高自动化水平的应用程序意味着几乎不需要人工监督，但这并不意味着结果是不可预测的。自动化并不新鲜，自动化已经得到广泛使用且不会对责任制度提出挑战。例如，警报系统或铁路道口的关闭和打开通常都是自动化的。

人工智能技术的新颖之处在于，它们具有产生不由输入预先决定的输出的潜力，这构成了自主决策。随着机器学习和深度学习能力的进步，人工智能系统在技术上可能会独立作出预测。人工智能系统可能会以人类未曾考虑过的方式行事，从而减少人类对结果的控制。一个例子是C-Path——一个用于检测癌症的机器学习程序，它发现了与主流医学思维相矛盾的乳腺癌诊断指标。人工智能系统提出新解决方案的能力是其巨大优势之一。如果人工智能系统平均而言比非人工智能系统更安全c，那么不依赖人工智能将产生机会成本。如果不使用人工智能系统，一个安全系数较低的人工替代方案将会取而代之。我们应鼓励采用此类技术，但也应解决责任方面所面临的新风险和挑战。

然而，人工智能系统的自主性越高，将其行为的法律责任归因于人类的理由就越是牵强。与需要一定程度人类监督的人工智能相比，完全自主的人工智能在责任方面将面临不同的挑战。如果人类将一项任务完全委托给人工智能，那么人类就必须依赖该人工智能的自行运作。“监控”人工智能系统可能需要定期检查其输出结果，所需的监控或监督取决于人工智能系统的类型——例如，聊天机器人需要的监控类型不会与人工智能割草机相同。随着时间推移不断进化的人工智能系统，例如招聘算法或减少汽车排放的软件，需要做定期的性能检查。总体而言，监控人工智能系统与监控传统系统并无太大不同，并且需要视具体情况而定。然而，完全自主的人工智能系统在运行时显然不需要对其进行持续观察——这将有违自主人工智能系统的初衷。

如果由人工智能支持决策的制定，则监控的形式将有所不同，但人类仍需监督人工智能系统。例如，半自动驾驶汽车的驾驶员仍需时刻监控路况。当人工智能系统需要人机交互时，问题在于使用者在什么情况下可以依赖人工智能系统以及何时应该推翻人工智能系统的决策。例如，考虑一下医生依赖医疗人工智能应用程序决定治疗方案的责任。如果人工智能工具出错，患者可能会因为不当的药物建议而遭受损害。问题在于，医生在什么情况下应该依赖人工智能应用程序的决策，以及在什么情况下医生应当为听从人工智能应用的错误建议承担责任。当没有人机交互而人工智能系统完全自主运作时，责任问题可能更加简单明了。

（二）与人工智能特征相关的责任漏洞

具有自主性、不可预测性、复杂性或不透明性特征的人工智能给责任归属带来了新的风险和挑战。基于这些挑战，可以确定现有责任制度中存在三个可能的漏洞。第一，如果人工智能行为无法合理预见，则可能无法明确什么构成过错或产品缺陷。这会引发如何在生产者和使用者之间分配责任的问题。第二，如果人工智能的设计与损害之间没有可追溯和可预测的关联，则证明因果关系也会变得困难。第三，人工智能造成的损害类型可能不被包括在现有责任规则所公认的损害类别中。

首先，如果人工智能的行为无法合理预见，那么什么构成过错并不明确。当操作者故意使用人工智能系统造成损害时，责任的确定很容易，但对于非故意的损害则困难得多。由于人工智能系统的不可预测性和使用者方面缺乏控制，复杂的自动化系统将给过错责任制度制造独特的麻烦。使用者一方的过错需要根据其未能维护自动化系统或监督该系统的运行来确定。从人工智能系统主要是工具这一前提出发，过错责任制度可以继续要求使用者在使用过程中承担合理的注意义务。然而，如果人工智能系统造成损害，使用者将自动系统投入运行的决定是否构成疏忽，至少目前在欧盟所有成员国中都不明确。

特别是对于旨在干预人类决策的辅助决策型人工智能，过错责任可能会遇到问题。如果人工智能系统要改进人类决策，而我们对它如何实现这一点又缺乏理解，那么人类在依赖人工智能系统而导致损害时是否应被认为是疏忽就值得商榷。上面医疗保健领域的例子说明了这一点：试图从医生或医院获得损害赔偿的患者可能难以证明他们中的任何一方在依赖人工智能时存在过错。如果人工智能系统作出了有害的建议或决策，而我们将全部责任归咎于医疗服务提供者，则可能是不公平的做法。这将导致责任承担与决策权的脱节。要确定医生在涉及人工智能系统时是否有过错，我们必须审视在特定情况下依赖该系统是否合理。如果医生依赖的是一个经过认证的、广泛使用的人工智能工具，错误自身并不明显，并且医生还遵循了安全标准和最佳实践，那么医生依赖人工智能工具很可能就不构成过错。

这些方面引发了制造商和使用者之间责任划分的问题。如果损害至少部分归因于人工智能系统的普遍不可预测性，则到底是产品缺陷抑或是不当使用造成的损害，可能就不清楚了。自主系统可能会将责任转移给制造商。随之而来的问题是：对于具有高度自主性的人工智能系统，制造商责任的限度是什么？例如，是否任何有害行为都构成产品缺陷？或者我们是否接受运行良好的人工智能系统仍可能会时不时造成损害的观念？目前尚不清楚所有者和使用者应该继续承担哪些责任。此外，当在制造商和涉及产品功能的其他利益相关者（如数据提供者）之间划分法律责任时，也可能会出现问题。

第二，如果人工智能设计与损害之间没有可追溯和预测的关联，那么证明因果关系也会变得困难。开发者不像汽车制造商管理安全气囊部署那样控制自动系统。一个相关的问题是，人们对那些能够自主决策或行动的人工智能系统的安全等级可以有多高的期待。在生产者责任方面，这引发了什么构成“缺陷”的问题。

第三，根据人工智能技术的使用方式，人工智能在事故中可能比传统产品更容易造成不同类型的损害。在这些损害类别中，有一些可能不被责任法所承认，特别是在生产者责任方面。如果人工智能系统控制一个物理的、有形的系统，它可以像传统产品一样造成物理损害。例如，自动驾驶汽车、外科手术机器人或吸尘机器人可以像它们的传统产品一样造成物理损害。即使人工智能技术是作为一种服务来消费的，其决策也会在物理世界中产生影响，并可能产生我们熟悉的损害类型。例如，如果医院使用人工智能医学诊断工具，并按月支付订阅费，若该工具出错，后果可能仍是物理损害。

除此之外，人工智能工具——或者更广泛地说，数字工具——可能会造成相对于传统产品而言不那么突出或相关的损害类型。例如，与公司物流数据互联的人工智能工具可能会损坏这些数据，从而扰乱公司的运营。易受网络攻击的人工智能应用程序可能会对其使用者造成财务和隐私损害。吸尘机器人的安全漏洞可能导致使用者家中地图被共享，或导致第三方获取使用者本地网络访问权。再比如，一个作出招聘决策的人工智能工具可能会因为作出歧视性决策而造成损害，或者人工智能聊天机器人可能会产生仇恨言论或侵犯版权。考虑到人工智能可能使某些类型的损害更容易发生，重新考虑责任法所承认的损害类型，特别是生产者责任，是具有积极意义的。

四、有效的人工智能责任规则

让从事可能造成损害的活动者承担侵权责任，是将有害外部性予以内化的一种机制。侵权法的目标之一就是通过使潜在的不法行为者赔偿损害来激励他们在安全方面进行有效投资。投资安全措施成本高昂，因为预防措施需要时间和资源。因此，零风险通常不是社会最优的风险水平，因为风险减少自然会带来递增的边际成本。根据具体的人工智能应用，预防措施可以采取不同形式。例如，可以对基于人工智能的解决方案进行更多的测试，咨询外部专家作为认证者，承诺采取人工监督，或精心设计人机界面以减少人为决策错误。

（一）责任标准：过错责任或严格责任

在为人工智能选择过错责任或严格责任制度时，需要考虑的相关因素包括信息成本、受害方的角色、（风险）活动的价值以及风险类型。

1. 信息成本和受害者激励

在过错责任制下，如果人工智能系统（例如一架配备人工智能技术的无人机）的所有者未能采取注意义务标准所要求的安全预防措施，则应承担责任。如果立法者和法院能够准确确定注意义务，就能促使人工智能系统所有者采取有效的预防措施。如果注意义务标准设定得过高或过低，都将促使无人机所有者采取次优的预防措施。如果无人机具有人工智能能力，而法院无法准确分配责任，那么过错制度可能是次优的。正如上文所述，对于人工智能应用而言，其法律责任的要件诸如过错和因果关系等可能难以证明。因此，在一般层面上确定人工智能预防措施的有效水平可能具有挑战性。具体而言，有效的预防水平可能取决于在设计人工智能时控制其行为的技术可能性。人工智能的安全性和复杂性之间可能需要权衡，即人工智能可能为使用者带来更多好处，但也可能变得越来越复杂或不可预测。缺乏可预测性和自主性可能会增加风险。如果所有者和使用者无法控制人工智能系统，过错责任就无法实现引导他们更加谨慎行动的目的。在其他情况下，这种缺乏控制一直是引入风险责任或严格责任的原因。

严格责任的优势在于立法者或法院不需要有关最佳预防级别的信息。严格责任规则促使无人机所有者采取最佳预防措施，因为它将事故的所有成本转嫁给所有者。理论上（在完全赔偿的情况下），严格责任规则通过要求侵权者支付其活动的社会成本来内化损害成本，至于需要采取何种程度的注意，在所不问。然而，由于侵权者承担了所有成本，严格责任制度无法激励受害者在其也能影响事故发生可能性的情况下采取适当的谨慎措施。经济学著述将这种情况定义为双重道德风险问题（double moralhazard problem）。

2. 活动水平和创新

通过严格责任规则将所有成本转嫁给加害方，可以促使他们采取最佳的注意级别和活动级别。如果一项活动即使采取了有效的预防措施本质上仍是高风险的，那么我们可能希望加害方完全停止从事这种活动，或者至少降低这种活动的级别。c 过错责任制度无法实现这一目标，因为加害方可以通过采取必要的预防措施，避免支付其活动的成本。这解释了为什么大多数司法管辖区对驾驶汽车行为施加严格责任。例如，即使采取了适当的预防措施，人工智能应用也可能造成严重的损害，特别是当人工智能系统在物理空间运行时（如无人机或自动驾驶汽车）。严格责任的优势之一在于，它可以促使人工智能系统的生产者和使用者内化与技术相关的所有损害成本。

然而，反过来说，如果一种活动对社会有益，则潜在的侵权者可能会因为严格责任的设置而过于谨慎。严格责任可能会使其活动低于有效水平，因为负外部性（即损害）被内部化，而正外部性（对社会的外部益处）可能不会全部回流给他们。人工智能应用对第三方产生了明显的好处：具有自主功能的汽车可能更安全；人工智能诊断工具在检测疾病方面可能优于人类；算法提供了消费者喜欢的各种数字服务。如果与其他替代方案相比，使用人工智能减少了损害或带来了好处，那么不使用人工智能就会产生机会成本。

不仅如此，人们对人工智能应用的投资及其部署，也可能有助于其他领域的人工智能创新。任何责任规则（特别是严格责任）的担忧之一，就是部署人工智能的初创企业可能因无法承担相关风险而破产；而如果初创企业未能完全赔偿损失，至少部分责任将转移给其他方或受害方。此外，如果预见到这些问题，企业家可能一开始就不会将其精力投入到这样的初创企业中，或者可能无法获得资金。强制保险或许（至少部分）可以解决这个问题。然而，这将以负面影响侵权者有效减少损害的积极性为代价，因此成本较高。

在这种情况下，我们应承认责任不一定会抑制创新，它还可能鼓励企业开发降低风险的技术，改进产品设计以减少损害的可能性，并增加使用者的信任和采用（take-up）。如果没有法律责任，企业往往没有足够的动力来这样做，潜在使用者也可能正确预测到这样的问题并延迟采用该产品。换句话说，法律责任可以成为创新的催化剂。

3. 风险类型

为了解决人工智能责任问题，有必要详细说明几种经济环境，在这些环境中，第三方遭受损害，而一方的努力决策（effort decision）会影响损害发生的可能性或严重程度。一个重要的区分是：风险对构成第三方的人群而言是特异独立的（idiosyncratic）还是高度相关的。

在风险特异独立的情况下，从个体角度来看，损害仍然是一个随机事件，但对于责任方来说，结果在某种程度上是可以预测的。例如，一家公司可能会为了减少对第三方构成风险的产品比例而进行投资。虽然对于个体来说事故的发生难以预测，但对于公司来说，事故的平均次数可以很好地预测到。过错责任的设置可以基于对最佳事故数量的计算（基于成本效益分析），如果观察到的事故数量超过了最佳数量，公司可能不得不向一个资金池注入一笔费用，具体金额得随着事故数量的增加而增加。

当然，如果过错是可直接观察的且对法律系统而言成本较低，那么在个案中可以评估由于过错导致的损害赔偿数额，因为在过错成立的情况下，第三方将获得全部损害赔偿。严格责任则会在所有情况下都给予损害赔偿金，与注意义务的水平无关。因此，严格责任制度下的索赔对受害者来说更加容易。

理论上，过错责任的适用可以依照如下方式运作：存在一个最优保护水平则意味着在产品发生故障时会有一定的损害（假设以欧元量化的损害为 X，发生这种损害的概率为p^*）。在保持损害值不变的情况下，我们可以关注故障率。当最优（或在某些情况下不可避免的）故障率为p^*、而p^0为实际故障率且p^0> p^* 时，可以认为(p^0-p^*)X 是企业过错所导致的预期损害部分。在这种情况下，企业预期支付的损害赔偿将对应于高于p^* 的故障率所导致的增量损害。在企业的预期中，这就是需要支付的金额。由于故障发生的实际概率为p^0，预期支付金额为p^0D，这应等于(p^0-p^*)X。一旦发生故障，可以推断企业的过错增加了风险（假设p^0> p^*），因此必须支付 {(p^0-p^*)/p^0}X。例如，假设调查得出最优故障概率为1%，而实际故障概率为5%，那么由于过错，对第三方造成的总损害为100 万欧元，则应支付80 万欧元作为损害赔偿。因此，理论上基于过错的概念可以应用于这种概率事件。

从激励的角度来看（假设其存在于市场中），过错责任和严格责任在理论上表现同样出色。从事前角度来看，当公司在决定采取的注意水平高低时，它会试图最小化预期损害和预防成本C 之和，该和为关于1-p^0 的函数，在严格责任下则为关于p^0 的p^0X + C(1-p^0)。这意味着公司选择的风险水平使损害X = C'(1-p^0)。在过错责任下，公司最小化关于p^0 的(p^0-p^*)X + C(1-p^0)。这意味着公司选择的风险水平再次使损害X = C'(1-p^0)。

上述论点表明，基于过错的责任和严格责任都导致相同的（有效的）注意水平。然而，适用过错责任（如上所述）在实践中会导致问题，因为这需要法院有能力计算最佳和实际风险。严格责任则不受这种实际问题的困扰，因为在我们的例子中，发生故障时，法院将简单地裁定赔偿100万欧元。在许多情况下，包括涉及人工智能风险的许多案件中，第三方的个体风险是高度相关的，且故障是罕见事件。例如，设想一下个人数据保护不力而被黑客入侵的情况，尽管人工智能系统本应检测到此类威胁。这就使得人们几乎不可能基于过去的观察来计算实际故障率。过错责任必须依赖于预先确定的预防水平或原则。因此，如果个体风险高度相关且故障是罕见事件，那么出于可行性的考虑，严格责任就是我们的首选方案，因为它不需要计算实际和最优故障率。

从动态角度看，严格责任的一个缺点是会出现创新者的预期赔偿额要高于过错责任的情况。受害者提出高昂的损害赔偿请求的可能性较高，这可能会导致社会创新水平不足，特别是如果创新者无法将创新产生的所有社会效益内部化。潜在的创新者可能因此避免进入市场或扩大活动，放弃具有社会价值的创新。

与过错责任制度相比，严格责任的优势在于立法者和法院在设计和检验基于人工智能的解决方案时不需要有关最佳预防水平的信息。通过将全部的损害成本转嫁给施害者，严格责任规则刺激施害者在人工智能应用本身具有风险的情况下降低活动水平，即使其已经采取了足够的预防措施。严格责任的缺点在于其适用可能会使人工智能应用的有益利用降低到有效水平以下，例如，如果与不使用人工智能相比，人工智能的卓越性能可以减少对社会的损害。如果个体风险高度相关，且故障是罕见事件——也即在可能的高风险环境中——那么从可行性考虑，严格责任就是首选方案。

（二）谁应当承担责任

当多方影响损害风险时，就会产生责任规则应指向谁的问题。从社会福利的角度来看，责任规则应指向成本最低的避害者，即能以最低成本最小化损害的一方。而如果某些减少损害的活动需由多方互补进行的话，则可能意味着责任规则应当指向多方。

如上所述，在许多基于人工智能的解决方案中，多方参与了提供产品或服务。尽管在法庭上证明损害的存在可能很容易，但仍需解决谁应该赔偿损害及赔偿的程度问题。在考察不同责任规则的效果时，有必要详细说明在多方参与的情况下故障是如何发生的。我们区分两种极端环境。在下文考虑的第一种环境中，注意是累加的。也就是说，一方提供的注意完全可以替代另一方提供的注意。在第二种环境中，所有各方的注意都是必不可少的。也就是说，一方提供的注意是对另一方提供的注意的完美补充。严格责任要求必须赔偿全部损失。通常情况下，哪一方应承担责任并不明确。简单起见，我们假设参与双方对称地促成了风险。

1. 注意可替代的情形

如果双方中至少有一方付出了努力，风险假设为p^*，而如果双方均不付出努力，风险则被假定为p^0。具有社会效率的决策是双方中的一方付出努力。如果在事故中无法验证哪一方没有付出努力，那么总损害为X。一个简单的规则是将损害赔偿平均分配给双方。在严格责任下，每一方都必须支付X/2。这样的规则不能实现有效的努力水平：每一方在降低风险的注意上都会出现投资不足的情况，因为他们预计只需要支付一半的损害赔偿。

有效的解决方案是让成本最低的提供者付出努力来降低事故风险。如果从一开始就能确定这一方，则可以将责任归咎于此方。然而，这并不容易做到。作为替代方案，法律可以规定，无论某一方的努力成本是否低于另一方，该方都将承担责任。如果该方能与另一方有效地协商，双方可能同意将责任转移给成本最低的一方。这将保证以最低的成本做出有效的努力。同样，上文讨论的过错责任规则根据预定的规则将损害赔偿 {(p^0-p^*)/p^0}X 归咎于一方。如上所述，在高风险环境中实施这样的过错责任规则将更加困难。

2. 注意互补的情形

在这种情况下，甲乙双方都必须投入努力将风险从p^0 降到 p^*。我们假设社会有效决策是甲方和乙方都投入努力，即甲乙双方投入努力的总成本满足C_1 (1-p^*)+C_2 (1-p^*)<(p^0-p^*)X。根据某种外生分担规则在甲乙双方之间分配全部损害的严格责任制度，并不一定能实现有效的努力。a 如果两方是对称的，当2C(1-p^*)<p^0X 时，双方投入的努力就是有效的。如果每一方都必须承担一半的损害，只要一方预期另一方也会投入努力，那么在C(1-p^*)<(1/2)（p^0-p^*）X 的情况下，一方就会投入努力。如果双方都这样做，就会产生有效的努力。

然而，如果一方对另一方的努力程度持怀疑态度，它就不会付诸努力，因为这并不能降低发生事故的概率。因此，可能会出现协调失败。如果各方能够在法庭上提供可核实的努力证明，且未能提供证明的一方将承担全部责任的，则可以避免这种协调失败。

如果努力地投入不是非此即彼的二元选择，而是可以调整其水平的，那么双方在努力投入上都将表现出社会低效的水平。简单将全部损害分配给双方，会导致他们在注意方面的投入过少。为了达到有效的注意水平，总的赔偿金额必须大于所造成的损害（超出有效水平）。对于各方而言，不投入努力而产生的预期增量赔偿必须等于(p^0-p^*)X。从法律的角度看，这意味着可能需要实施惩罚性赔偿来实现社会有效的注意水平。

特别是在高风险环境中，我们可以发现存在努力互补的特征，因为在这种环境里需要各方的努力来控制风险。例如，自动驾驶汽车需要可靠的传感器和正常运作的人工智能软件。如果这两者之中任何一个出现故障，就足以显著增加发生损害的概率。

可能有人会问，将严格责任分配给预先确定的某一方是否能达到有效的注意水平？在这种情况下，被要求承担责任的一方可能会与另一方签订合同。然而，将部分责任风险转移给另一方会产生搭便车问题，因为双方仅承担部分责任风险。因此，只要当事人仅仅承担已造成的损害，那么将责任分配给某一方并允许其与另一方签订有效合同就无法解决注意供给不足的问题。过错责任制度也会产生类似的问题，其仅考虑超出有效水平的增量损害。因此，重要的是要承认，在注意存在互补性且单方的努力投入在法庭上无法证明的情况下，仅仅赔偿损害会导致注意水平的不足，即使在严格责任之下也是如此。

如果各方投入的注意完美互补，且每一方都对总的损害承担全部责任，那么就能提供有效的注意。然而，受损方将会获得双倍赔偿。根据过错责任的精神，依据高于有效水平的损害增量将损害赔偿分配给每一方，在某些条件下，总赔偿金额可以保持在总损害的等值货币之下，同时仍然保持对努

当双方都投入有效注意之后，该概率可减少至p^*=3%。缺乏注意所导致的预期损害增量为损害X的

总而言之，对于许多基于人工智能的解决方案，通常涉及多方参与提供产品或服务。如果每一方的注意都是避免故障所必需的，且法院无法查明故障的根源，那么在不允许惩罚性赔偿的情况下，即使是严格责任也会导致社会效率低下的注意水平。

3. 追究生产者和操作者的责任

让人工智能的使用者和所有者（“操作者”）与生产者一样承担责任有几个理由。责任规则应促使生产者和操作者在设计、检测和使用基于人工智能的解决方案时采取有效的注意水平。操作者的责任可鼓励他们在监控非完全自主的人工智能系统时采取预防措施。

对于高度自主的人工智能系统而言，责任可以激励操作者保持系统的更新并确保其能正确使用。虽然生产者控制产品的安全特性并提供产品与操作者之间的接口，但操作者控制着系统的使用。操作者决定在何种情况下使用人工智能系统，并能够在现实世界的情境中进行监督。因此，将一些责任归咎于选择将决策委托给人工智能系统的操作者是合适的。

让操作者承担责任的另一个原因是他们从人工智能的使用中受益，因此承担（部分）相关成本是适当的。在这里必须指出的是，社会也可以从——作为非人工智能技术更安全的替代品——人工智能的使用中受益。责任规则不应阻碍人工智能技术的应用。因此，举例来说，如果自动驾驶汽车比人类驾驶的汽车安全得多，就应该促进人们接受这些产品。这就是不对人工智能系统引入比传统系统更严格的责任的理由。

在设计责任规则时，政策制定者应当认识到这些规则会转移成本，因此可能会影响生产者在将决策权委托给人工智能系统或人类时的设计选择。

人工智能系统将控制点（locus of control）从使用者转移到制造商。对于不依赖人工智能的技术产品，制造商控制产品的安全特性，并提供产品与使用者之间的接口，而使用者则在现实世界情境中使用机械设备时行使控制权。对于人工智能系统，使用者将能够施加的控制大为减少。结果就是，事故的发生将不那么依赖于个别使用者采取的注意。使用者的责任可能会逐渐退至幕后，这意味着制造商的责任对于受害方获得赔偿而言变得更为重要。简而言之，当生产者比消费者更能控制风险时，基于激励的方案将责任的相对负担转向生产者。这激励生产者通过系统的设计和制造来减少人工智能系统的风险。

尽管人工智能系统将控制权转移给了生产者，但生产者并不影响人工智能系统的最终使用。因此，将一部分责任归咎于拥有人工智能产品的一方（所有者）或使用它的一方（保管者）即“操作者”是合理的。当今许多人工智能技术并非完全自主，至少需要一定程度的人类监督。操作者责任鼓励操作者们在监督人工智能系统时采取预防措施。即使对那些高度自主的人工智能系统，也仍由操作者决定是否以及如何使用它们。责任制度为操作者提供了动力，以保持人工智能设备的更新并确保其被正确使用。此外，操作者从使用人工智能中获益。相反，如果我们要求生产者为每一起伤害案件负责，甚至是那些生产者无法控制也无法从中获益的场合，则可能会损害创新。

（三）高效人工智能责任规则的考虑因素

总而言之，从经济学角度来看，侵权责任应促使生产者和使用者在设计、检测和使用基于人工智能的解决方案时采取有效的注意水平。通过转移损害成本，责任规则可能会影响生产者将决策委托给人工智能系统或人类的设计选择。在过错责任和严格责任之间进行选择时应考虑这一点。

与过错制度相比，严格责任的优点是立法者和法院在设计和检测基于人工智能的解决方案时，无需掌握有关最佳预防水平的信息。

在

即使

采取了适当预防措施但人工智能应用仍存在固有风险的情况下，严格责任规则通过将损害的总成本转移给侵害者，可以激励侵害者降低其活动水平。然而，如果人工智能的卓越性能减少了对社会的危害，严格责任就会成为一个障碍，因为它可能会将人工智能应用的有益使用降低到有效水平以下。此外，如果创新者没有将其创造的所有社会效益内在化，严格责任可能会导致社会创新不足。然而，如果个体风险高度相关并且故障是罕见事件——也即在可能的高风险环境中，那么出于可行性的考虑，严格责任将成为首选方案。

最后，许多基于人工智能的解决方案涉及多方参与提供产品或服务。如果各方的注意对于避免故障至关重要，且法院无法核实故障的根源，那么在不允许惩罚性赔偿的情况下，即使是严格责任也会导致社会效率低下的注意水平。除了生产者之外，使用者也必须承担责任。即使使用者对人工智能系统的运行方式控制较少，他们也会决定何时使用它并从其使用中受益。

五、调整欧盟人工智能责任规则

第三部分揭示了由于人工智能的特征导致的责任规则漏洞。第四部分给出了如何填补这些漏洞以实现针对人工智能损害的有效责任配置的指导原则。接下来的第五章讨论了这些原则所需要的具体调整，并评估了欧盟关于新PLD和针对操作者的人工智能特殊责任规则的提案。欧盟的这些建议决定了人工智能损害的责任如何在修订的PLD下的生产者和新《人工智能责任指令》下的操作者之间分配。

（一）修订后的PLD下的人工智能生产者责任

人工智能生产者的责任将由修订后的PLD提案确定。PLD的适用范围是横向的，其修订更新的理由更加广泛，不仅仅局限于与人工智能相关的问题。尽管如此，该指令修订的理由与技术发展密切相关。PLD的适用范围不仅决定了生产者和操作者之间的责任分配，而且自然也设定了生产者的注意标准。

人工智能系统的产品责任主要涉及三个问题：第一是“产品”概念的范围，特别是该概念是否包括无形物品以及产品和服务之间的界限在哪里；第二是“缺陷”的定义，以及如何对自主人工智能系统进行解释；第三是举证责任。除了这三个将在下面展开具体分析的主要问题，欧盟委员会在此次修订PLD提案中所提出的两个重要且颇受欢迎的扩展也值得注意。首先，欧盟委员会建议将“生产者”（producer）一词替换为“制造商”（manufacturer），以涵盖软件提供商、数字服务提供商和网络市场作为PLD下可能的责任方。如第四部分“（三）高效人工智能责任规则的考虑因素”所述，扩大责任方的范围是有效的。其次，欧盟委员会建议扩大可获赔偿的损害类别，包括数据丢失或损坏，例如从硬盘删除的内容。它还建议将医学上认可的心理健康损害作为人身伤害损害的一部分。

1. 产品的定义

目前，PLD涵盖有形产品。这意味着从人工智能系统的硬件组件和集成到有形人工智能系统中的软件都在 PLD的覆盖范围内，但对于独立软件则并不明确。对软件而言，媒介可能是其被视为产品的决定因素。因此，存储在DVD或闪存驱动器上的软件受PLD的保护，但下载的软件可能不受保护。欧盟成员国在国内实施时对PLD中的软件概念出现了不一样的适用。因此，有必要明确产品定义，因为它决定了软件制造商是否可以根据PLD承担责任。

在数字化时代，区分有形和无形使用对象的意义变得越来越弱。目前，尚不清楚为什么计算机程序的存储、复制和分发模式应与 PLD的适用相关。PLD的主要目的是确保在受害方和制造商之间公平分配与工业制造相关的风险。下载软件的风险与通过传统光盘供应的类似产品没有太大区别。一旦软件被导入计算机，它会带来实质和有形的变化，这在软件被集成到机器中时是显而易见的。但对于无形软件，同样可以设想有这样的变化。例如，我们可以设想，一款由患者使用的胰岛素治疗应用程序出现了错误，或一款恶意软件破坏了消费者的所有文件。因此，不论其媒介如何，软件所涉及的风险都支持将软件纳入产品的概念。PLD提案认识到这一点，并明确将无形软件和数字制造文件纳入产品的范畴。问题仍然是如何划分产品与服务。根据拟议的PLD，与产品相关的服务，例如与产品互联的数字服务，如果是实现产品功能所必需的，则将被视为产品的一部分。

然而，消费者越来越多地将以前购买的产品完全作为服务来消费。例如，消费者以前会购买光盘，现在他们订阅像Spotify这样的服务。数字商品模糊了产品和服务之间的界限。随着云计算能力的提高，更多的人工智能系统可能也会以服务的模式运行——不仅是数字商品，还有实体商品。因此，对于数字商品和人工智能系统来说，产品和服务之间的界限越来越难以明确划分。传统上，产品和服务的不同风险正当化了对产品缺陷适用严格责任，但对服务则不然。服务的消费者可能更容易证明服务提供者存在过失，而产品的消费者要证明产品的缺陷性质则更加困难。对于许多数字商品来说，产品和服务之间的区别可能不那么合理，因为它们的风险可能相同。从长远来看，可能需要为两者采用共同的责任制度，或者至少需要制定明确定义的标准。

2. 缺陷的定义

“缺陷”（defect）的定义对于确定自主操作系统的生产者责任至关重要。根据现行PLD，生产者只对产品投放市场前出现的缺陷负责。这表明了从产品投放市场的那一刻起，生产者对产品就不再有控制。如果产品安全有赖于生产者对软件的更新，或者人工智能系统在投放市场后会继续学习，那么这种控制标准就会产生问题。因此，PLD改革中的一个问题就是考虑软件产品、数字商品和人工智能系统的动态特性。

根据拟议的PLD，确定产品是否存在缺陷的检验标准实质上保持不变。该提案允许法院在评估缺陷时考虑更多因素，如产品的相互关联性或自主学习功能，以及产品的网络安全漏洞。缺陷的概念也有所扩大，不再仅仅根据产品投放流通的时间来评估责任。如果制造商通过软件更新或机器学习算法保留对产品的控制，则可以考虑在产品投放市场后时段的PLD责任。

监控产品在投放市场后的义务对于现行PLD来说是完全陌生的。PLD提案中对缺陷的扩展采纳了评论者的建议，以澄清生产者对具有学习能力的人工智能系统的监控责任。它将责任扩展到未能提供产品安全相关更新的生产者。此外，正如评论者所建议的那样，如果使用者未能安装更新，则制造商不承担责任。为了防止出现过于宽泛和无限期的责任，有必要纳入明确的标准，说明这种义务应该合理存在多久。同样，可能还有必要明确消费者是否可以期待在产品整个生命周期内接收到更新。

PLD在如何将缺陷概念应用于自主人工智能系统方面并没有提供太多指导。如果人工智能系统意在自主运作，那么问题就来了，是否任何损害都构成缺陷，或者是否可以接受一个运作良好的人工智能系统仍然可能造成损害。如果我们接受某些故障，那么哪些故障可以接受就是问题所在。目前还不清楚缺陷的概念在多大程度上扩展至具有自学能力的人工智能系统所实施的故意但不良的操作。我们可能无法在人工智能自主决定造成的损害与缺陷造成的伤害之间划清界限。

一种选择是将“缺陷”的概念扩展到完全自主人工智能应用造成的任何损害。另外的做法是更清晰地区分不同类型的缺陷。这么做的合理性来自如下事实：为人工智能系统设计学习过程的生产者最能判断产品是否足够安全推向市场，并且从产品销售中获益。这样的规则会鼓励生产者告知使用者哪些情况下人工智能应用不能完全自主工作。然而，从实践操作角度来看，如果我们针对具有较高自主水平的产品适用不一样的产品责任规则，则可能会影响产品的市场营销或设计。在这样的责任规则下，我们可以预见生产者为避免责任会径直不以完全自主来营销其应用程序。生产者可能会添加内容详尽的产品手册，说明使用者仍有义务监控人工智能系统的情境。

除了这个实践问题，在责任方面要求绝对安全也是不合理的。在某些情况下，例如在医疗保健领域，因为涉及高风险而可能需要绝对安全，这在其监管安全标准中也得到了反映。一般而言，将严格责任扩展到人工智能制造商，使其对任何人工智能损害负责，则会把部分负担不合理地转嫁给制造商。这种制度将迫使人工智能制造商承担负面外部性，而没有对人工智能可能带来的巨大正面外部性进行补偿。正如上文第四部分“（三）高效人工智能责任规则的考虑因素”所解释的那样，对那些通过使用人工智能受益并因此给他人带来风险的所有者而言，这种规则设置对其施加的负担也是不足的。此外，等到出现几乎完美的人工智能再投入使用，这种做法导致的成本可能比早点接受合理的故障率更加高昂。责任规则应该回应这一点。

第二种选择是根据缺陷类型区分生产者责任，类似于美国的产品责任法。例如，严格责任可以限于制造缺陷的情况，而设计缺陷和使用说明的缺陷则适用过错推定。如果人工智能系统相对不易受到制造缺陷的影响而更容易受到设计缺陷影响的话，那么与其他产品相比，采取这种方法的结果之一就是限制了人工智能系统的责任。

第三种可能性是将设计缺陷与制造缺陷同等对待，并实施严格责任制度。鉴于单从个别人工智能系统辨识设计缺陷可能存在困难，我们可以考虑根据相同算法操作的一系列人工智能系统所造成的损害来确定是否存在设计缺陷。接着仍需确定可接受的故障率——一般来说，随着产品相关风险的增加，对制造损害的安全要求也会提高。我们还可以期望人工智能系统比它们所取代的“笨拙”（dumb）产品更安全。然而，我们需要考虑我们能够要求人工智能系统比人类决策更安全多少。如果我们以市场上最安全的技术为基准，那么本质上会将除一家竞争者之外的所有人工智能系统排除在市场之外。PLD提案认识到这一问题，指出产品“不能仅仅因为有更好的产品……投放市场”而被视为有缺陷。

与此同时，将人工智能系统的表现与一个谨慎行为的人在特定情况下的表现进行比较是没有用的。第一，与良好的人类决策做比较是没有意义的，因为我们希望人工智能比人类表现得更好。第二，参照点不同：在人类的情况下，参照点是个案中的决策；而在人工智能系统的情况下，参照点是整个产品系列的编程是否可以且应该更谨慎地进行以防止损害的发生。法院需要识别本可以通过替代性编程加以避免的缺陷。自习型人工智能系统如果最初运作良好但后来在实际使用中出现了故障，可能被视为最初就不是无缺陷的（not error-free）。第三个原因是自主系统造成的事故集可能很容易被人类避免——人们可以想象自动驾驶汽车在明亮环境中识别白色卡车的能力。尽管人工智能系统会犯人类所不会犯的错误，但总的来说，它所犯的错误可能仍然要少得多。因此，将安全标准与人类相比可能是误导的。

总之，关于自主人工智能系统，我们需要考虑哪些人工智能设计缺陷是不可接受的，哪些错误率是不可接受的。此外，举证责任（下文将讨论）和监管安全标准可能有助于缓解自主人工智能系统对缺陷概念提出的挑战。

监管安全标准也有助于减少自主决策带来的意外负面影响。我们必须进一步了解人工智能系统在投放市场后是如何学习的，以便采取适当的监管措施。如果人工智能设备在投放市场后能够继续独立学习，我们识别甚至定义产品缺陷会变得更加困难。这类设备将变得更难预测，也更难控制，甚至对制造商来说也是如此。如果人工智能设备在学习过程后经过全面检测，并在投放市场时学习进程被“冻结”（freezing），那么意外行为造成损害的可能性就会降低。如果法规禁止人工智能产品在未“冻结”的情况下进入市场，就可以减少在产品责任规则中对缺陷概念作更宽泛解释的必要性。然而，我们在作出这种选择时，应始终与不部署这些具有自我学习能力的系统所损失的利益进行权衡。

3. 举证责任

PLD要求受害方证明产品存在缺陷并造成了伤害。对于任何技术复杂的产品，证明缺陷对消费者来说都可能具有困难。因此，各国法院都制定了在这种情况下减轻举证责任的方法，包括披露生产商的义务或分配专家意见的费用。

PLD提案并未倒置举证责任，因为这被认为会使制造商面临过高的责任风险。然而，该提案确实在某些情况下减轻了受害方的举证责任。正如第三章所讨论的那样，提案引入了被告过错与人工智能系统产生的输出（或缺乏输出）之间因果关系的可反驳推定。

这可以在涉及人工智能系统的产品责任案件中为损害赔偿请求人提供便利。证明缺陷对人工智能系统来说可能更加复杂，因为缺陷可能难以识别。例如，如果人工智能诊断工具提供了错误的诊断，对使用者而言可能并没有明显的故障表现。根据缺陷的定义，使用者可能需要证明损害是由人工智能设备的缺陷而非其自主决策导致的。证明人工智能损害的因果关系可能很困难，尤其是在人工智能系统仍然需要一定的人工监督的情况下。受害方可能难以证明是人工智能系统而不是他们自己的过失导致了损害。人工智能开发者也可能辩称，无法精确预测人工智能系统的行为，也即损害是不可预见的。虽然这不太可能辩护成功，但当人工智能系统完全按照自己的意图行事（自主行动）但仍造成损害时，就可能会出现这样的问题。因果关系的评估通常需要专家意见，其费用可能会阻却受害方提起诉讼。

尽管有文献建议为被高度复杂技术造成伤害的受害方倒置举证责任，然而这将显著改变风险的分布，从而损害制造商的利益。这种方案也将与当前PLD的原则大相径庭。因此，因果关系的可反驳推定似乎是一个好的折中方案。考虑到人工智能系统可能配备事件日志或记录系统，比起非人工智能产品，受害者或许可以获得更好的事故原因数据。在国家层面，或许PLD中的可反驳推定规则将伴随着证据披露义务、专家意见费用分担规则，或者——在数据保护规则允许的情况下——有关收集系统运行数据的要求。这将确保制造商在后期追溯可能的故障原因。

（二）拟议的《人工智能责任指令》下的人工智能操作者责任

第三部分和第四部分的分析表明，对人工智能系统而言，操作者的过错责任可能无法有效发挥作用，而让操作者承担起责任则会更有效率。欧盟委员会提议通过可反驳的因果关系推定引入更严格的操作者注意标准，并允许损害赔偿请求人获取相关信息。除了一些例外情况，这些规则适用于拟议的《人工智能法》定义的高风险人工智能。

1. 特定人工智能责任制度的适用范围

欧盟委员会已提议为预定义的高风险人工智能系统制定一种横向责任框架，该框架将补充拟议的人工智能法案中的安全规则。在实践中，该责任制度需要足够清晰，以确保使用者（或其他类型的操作者）和法院能理解哪些应用受此框架覆盖。民事案件很可能会聚焦特定设备是否属于人工智能以及是否属于高风险，因为这将决定它是受基于一般过错的国家责任制度的管辖还是受拟议中的《人工智能责任指令》中更严格的责任规则的管辖。为了避免制造法律不确定性的新源头，拟议的《人工智能责任指令》和《人工智能法》需要明确界定哪些人工智能应用属于高风险。关于拟议的《人工智能法》中高风险人工智能定义的持续讨论表明，这并非易事。该法案中的定义侧重于涉及的损害类型（如健康和基本权利）以及人工智能系统的部署领域。正如第四部分所示，从效率的角度来看，还应考虑风险的其他方面例如风险是否高度相关。

欧盟委员会选择的横向方案的优势之一是更灵活、更能适应快速发展的技术。由于不同的人工智能应用为社会带来的益处和风险皆有所不同，因此针对不同人工智能应用，区分适用不同的监管和责任要求是合适的。然而，我们发现为高风险人工智能应用引入横向责任框架可能存在潜在问题。列出“高风险”人工智能应用可能预先假定了人工智能应用无论应用于哪种背景都产生类似风险。人工智能涵盖各种技术，这些技术可能用于各种应用，这些应用又可能在各种背景中使用。因此，法院不仅必须审查特定设备的风险，尤其是对于通用设备，而且必须审查该设备的特定使用方式。

更限定和更集中的选择可能将更严格的欧盟责任标准的适用范围与现有的欧盟特定部门规则保持一致。现有的特定行业监管已经反映了根据技术应用的背景进行差异化监管的需要。这样做的好处是在法律上已经确定了适用范围——例如交通或医疗设备——并且可以实现安全和责任规则的一致性。从合法性角度来看，这种选择还确保了责任规则的适用范围是由立法者通过采纳行业法规的方式加以界定的，而不是由法院在解释高风险人工智能应用的定义标准时予以确定的。

实际上，拟议的《人工智能责任指令》将覆盖多少人工智能应用还有待观察。一方面，有一大批人工智能系统不是高风险的。对于这部分人工智能系统，如果我们大体上遵循成员国现有的责任原则，就没有理由实行更严格的责任制度。拟议的《人工智能责任指令》在很大程度上将其适用范围限制在高风险人工智能系统是正确的。另一方面，某些应用已经受到特定责任规则的覆盖，例如自动驾驶汽车。这些人工智能应用可以继续由特定行业的规范加以规制。拟议的《人工智能责任指令》确实将交通领域的责任排除在其范围之外。一些成员国可能认为，将交通领域的责任制度扩展到某些人工智能系统（例如无人机）是有用的。对于此类设备，可能还需要像针对汽车所有者一样强制实施责任保险计划。如果对许多类别的高风险人工智能系统或多个行业引入此类规则，那么不受监管的高风险人工智能系统可能最终会很少。

问题还在于，由于人工智能的特性，我们需要在多大程度上在PLD范围之外进一步协调责任规则。责任规则的统一程度和这些规则的适用范围之间存在某种权衡。一方面，协调统一规则可能有助于受害方和操作者在法律上有一个统一的框架；另一方面，不协调责任规则可能有助于保持成员国国家责任规则的内在一致性，并允许成员国产生学习效应。

2. 人工智能责任标准

欧盟委员会在拟议的《人工智能责任指令》中选择了有限模式，即选择可反驳的因果关系推定，而不是为高风险人工智能系统的操作者设置更高的注意义务或严格责任。从受害者的角度来看，这可能是首选的解决方案——甚至可能优于严格责任，因为它解决了证明因果关系的需要。正如上文第三章和第四章所解释的那样，在人工智能系统不透明或自主运行且操作者控制较少的情况下，推定可能有助于建立因果关系。

在欧盟政策层面上，程序性机制也比操作者的注意标准更容易界定。后者既要足够明确以便各国法院统一解释，又要有足够的灵活性，以应对各种各样的人工智能系统和环境。事实上，根据当前的提案，可反驳推定的规则将适用于成员国不同的责任标准。诸如法国等已经制定了广泛的严格责任规则的成员国，就拟议的《人工智能责任指令》所涵盖的情况，将继续适用严格责任。这对可反驳的因果关系推定在实践中的适用意味着什么，以及整个欧盟的赔偿责任到底能达到怎样的统一程度，仍有待观察。

此外，根据提议的方法，国家法院仍需要明确操作者的注意义务。操作者的注意标准包括选择使用合理安全的人工智能系统，以及对该系统的维护、监测或监督。反之，操作者对人工智能系统的监测义务取决于人工智能系统的自主程度以及其风险水平。如果操作者可以合理地期望人工智能系统完全自主运行，则操作者没有义务监测人工智能系统。操作者的职责就仅限于如何维护和使用人工智能系统。我们可以预期，即使不是大多数，也有许多人工智能系统仍需要一定程度的人类监督。因此在发生损害的情况下，法院需要明确操作者是否因未能干预或凌驾人工智能系统而有过错。

在制定操作者的注意标准时，生产者关于使用和监督人工智能系统的说明可以为法院提供指导。向使用者提供准确的警告和说明必须符合生产者的利益，原因如上文所述，在发生损害的情况下，他们可能要承担生产者责任。这一点适用于任何产品，但对人工智能系统而言尤为重要，因为使用者应当知道是否需要以及如何对其进行监控。因此，生产者责任促进了生产者的信息披露。这些信息可以作为操作者注意标准的基准。例如，吸尘机器人的用户手册中警告不要在有小孩的情况下使用该设备。如果人工智能系统的操作者未能遵循这些说明并造成损害，则表明操作者有过错，应当承担责任。

然而，信息披露的潜力有限。长篇累牍的警告可能会像一般条款和条件一样被消费者忽略。为了确保消费者有效地了解人工智能系统，需要确定信息披露标准。为人工智能引入类似欧洲能源标签的“自主标签”可能是有益的。这些自主标签可以与认证过程和其他安全法规相一致，并向消费者说明在使用人工智能时需要何种程度的监督。由于自主标签会提供将决策委托给人工智能系统和相关人员的信息，这些标签可以在分配责任给生产者、操作者和使用者时为法院提供信息。如上所述，这样做的一个缺点是，由于责任的加重，生产者会不愿意开发自主性更强的人工智能系统，即使这类系统比在关键情况下仍需要人类监督的半自动系统更安全。不过，自主标签可以为人工智能系统损害责任的划分制定明确的标准，从而有助于解决法院所需的信息问题。

总的来说，随着人工智能系统达到更高的自主水平，在具体情况下确定操作者的注意义务可能变得更加困难。在某种程度上，人工智能系统不再是人类使用的工具，而是人类部署的独立于直接人类指令而行事的机器。这可能需要类比雇主对员工的责任或父母对孩子的责任的法律规则。这可能需要，例如在行业监管中，对某些特定类型的人工智能系统的操作者规定严格的责任。

如前文第四部分“（二）谁应当承担责任”所示，严格责任标准可能具有多个优点。第一，相对于在过错责任下确立“监督义务”（duty to supervise），严格责任的优势在于它可以确保在以下情况下对受害者进行赔偿：即使操作者对人工智能系统进行监控，但人工智能系统如果以完全意想不到的方式行事，操作者可能也无法防止损害的发生。对于具有特别高风险的人工智能系统，我们有理由将责任与过错脱钩，而不是提高注意标准或倒置举证责任。第二，严格责任可以节省受害方在过错难以确定的自主系统责任问题上进行诉讼所需的高额交易成本。第三，严格责任制度可能更具可预测性，可以减少成员国国家法院之间的解释差异。

有趣的是，在一些成员国的现有责任制度中，针对（某些）人工智能系统的严格责任规则也有类似之处。按照人类与人工智能关系的类型划分，人工智能责任可以效仿父母对子女、所有者对动物或者委托人对代理人的责任。根据家长责任，操作者只有在能够证明无法阻止机器行为的情况下才能避免责任。适用雇主责任也可能是合理的，因为通过使用人工智能系统，操作者对他人施加了风险。特别是当公司运营人工智能系统时，我们可以认为公司在其名下操作机器人。通过要求操作者作为委托人对其人工智能系统承担严格责任，可以适当地激励操作者采取预防措施，并确定人工智能系统的最佳使用水平。第三种可能的类比是所有者与动物的关系：人工智能系统的行为飘忽不定且不可预测，类似于动物。

对动物或儿童的责任对应了其独立的、不可完全控制的行为所带来的风险。通常认为，考虑到某些有用且因此被允许的设施或活动所引起的特定危险，实行严格责任是合理的。那些受设施或活动服务的人也应承担由此造成的不利后果。尽管先进人工智能系统的行动可能同样无法控制，但与非人工智能系统或人类系统相比，它们通常承诺会显著增加安全性。因此，人工智能系统可能对社会具有重要价值，对其操作者施加严格责任可能会带来过度负担。在委托代理关系中采用严格责任有不同的理由。这里考虑的主要因素是当事人将风险转移给另一方，因此应承担其行为的后果。这一论点在人工智能领域也同样适用，即使界定对系统的“控制”可能具有挑战性。

六、结语

随着人工智能技术进入日常产品和服务，它们也必将在责任诉讼中发挥作用。这引发了一个问题，即责任规则是否适合处理人工智能相关的问题。本文指出了责任规则中可能存在的几个漏洞，分析了人工智能的有效责任制度，并评估了欧盟最近关于生产者和操作者责任的提案。

本文明确了审查人工智能系统欧盟责任框架的三个维度：（1）责任规则的适用范围；（2）责任方；（3）责任标准。欧盟委员会提出通过修订PLD在横向层面调整生产者的责任规则，同时引入针对这些系统使用者和所有者的人工智能特定责任规则。对PLD的全面审视表明，经常与人工智能相关的许多挑战，实际上更为普遍地牵扯到数字商品和服务。人们可以想到许多利益相关者的参与和数据驱动问题。目前，人工智能的独特挑战可能只影响一小部分产品和服务，即那些具有自主且因此不可预测特征的人工智能系统。如果《人工智能责任指令》被采纳，预计许多高风险人工智能系统将被特定行业的责任规则所涵盖，这些规则如何在不同成员国中发挥作用仍有待观察。在不同的成员国，过错或严格责任的规则可能适用于不同情况下的人工智能系统，这些规则将如何实施也有待观察。

正如本文所示，即使操作者对这些系统控制较少，仍有必要让生产者和操作者共同对人工智能承担责任。操作者仍然可以选择何时使用人工智能系统，操作者能够对其进行维护和监督，并从其使用中获益。操作者的责任范围在很大程度上受到生产者责任范围的影响。因此，对PLD加以审查是在生产者和操作者之间分配人工智能系统责任的重要步骤。总之，认识到所有利益相关者的注意对于避免故障至关重要，非合同责任应激励各方在设计、检测和使用人工智能解决方案时采取有效的注意水平。

政策制定者应意识到责任规则如何影响人工智能的应用。当人工智能技术比其传统同行更安全时，不使用人工智能会带来机会成本。从这个角度来看，责任规则应当技术中立，并为人工智能产品或服务的使用者提供与非人工智能同类产品或服务的使用者相同水平的保护。一如既往，在监管设计中，规则反映的是权衡取舍，而这些权衡取舍应得到清晰界定。责任规则处理生产者（及其创新）利益和使用者（及其保护）利益之间的潜在权衡。责任规则应以损害风险为基础，而损害风险可能因人工智能系统的应用和使用环境而异。责任规则还应确保在利益相关者之间信息不对称情况下的有效信息披露。在时间方面，责任规则应平衡主动政策制定（预见技术变化）与被动政策制定（在部署技术获得一定经验后调整规则）。

从根本上说，欧盟的非合同责任规则不应被孤立地看待，而应作为更广泛规则的一部分，因为它们共同塑造了各方的激励机制。特别是，责任规则需要与欧盟一般法规（如拟议的《人工智能法》）和特定行业的安全法规、强制性或自我监管的认证计划以及国家的非合同、合同责任规则和保险规则保持一致。

编 辑：汤仙月

审 核：康敬奎

更多内容请点击下方“阅读原文”进入学报官网查