皮勇：欧盟《人工智能法》中的风险防控机制及对我国的镜鉴
文摘
社会
2024-07-26 09:35
北京
作者：皮勇（同济大学上海国际知识产权学院教授，法学博士）
出处：《比较法研究》2024年第4期
一、欧盟《人工智能法》的安全风险防控策略
二、防控对象的类型
三、对高风险人工智能系统的要求及相关方的安全管理义务
四、违反欧盟《人工智能法》的行为及法律责任
五、对我国人工智能立法的借鉴
摘要：欧盟《人工智能法》是世界上第一部促进人工智能安全发展的区域性国际法律文件，将人工智能系统定性为自主性工具，立足于人工智能安全风险全球化视角，以保障本土安全与发展利益为导向，规定了针对不同类型人工智能安全风险的、全过程多方协同防控机制。该法根据风险的类别和大小程度，将防控对象分为禁止的人工智能活动、人工智能系统和通用人工智能模型三大类六小类，分别采取禁止和不同程度的管控措施，重点防控高风险人工智能系统和通用人工智能模型的安全风险。以上防控机制主要通过规定人工智能安全管理义务及其处罚规定来实现，重点规定了高风险人工智能系统和通用人工智能模型的要求及相关方的安全管理义务，并对违反不同义务的自然人、公司以及欧盟机构、部门或实体设置了与行为人类型及义务相称的罚款。我国制定人工智能安全立法应考虑借鉴该法的成功经验，同时避免其出现的防控不全面不充分、法律责任制度存在缺漏、风险防控责任分配不合理等缺点。关键词：欧盟《人工智能法》；风险类型化；全程协同防控；安全管理义务 2010年后新一代人工智能进入蓬勃发展期，在社会各领域迅速应用，人类社会进入人工智能时代。人工智能技术是一把双刃剑，为了促进人工智能安全发展，世界各国都在积极推进人工智能监管立法，其中欧盟立法进度更快。2021年4月21日欧盟委员会提出《关于制定人工智能的协调规则并修改相关联盟立法的欧洲议会和欧盟理事会条例的提议》（以下简称“European Commission Proposal”），2022年、2023年欧盟理事会和欧洲议会先后通过了对以上提议的共同立场文件（以下简称“Council of EU General Approach”）和谈判立场文件（以下简称“European Parliament Negotiation Texts”），2024年2月2日欧盟27国代表一致通过整合以上三部法律文件的欧盟《人工智能法》（EU AIA），并于2024年3月13日获得欧洲议会批准，成为世界上第一部促进人工智能安全发展的区域性国际公约，对世界人工智能发展应用和各国人工智能安全立法产生深远的影响。研究欧盟《人工智能法》及相关立法文件，分析其安全风险防控机制，能为我国人工智能安全立法提供借鉴。
欧洲社会认识到人工智能对未来发展至关重要，希望平衡人工智能创造的福祉与其威胁公民基本权利的安全风险，促进发展尊重基本权利的、安全的人工智能。作为专门的人工智能立法，欧盟《人工智能法》的立法目的是改善欧盟内部市场运作，促进采用以人类为中心和值得信赖的人工智能，确保对欧盟《宪章》规定的健康、安全和基本权利、民主、法治和环境的高水平保护，免受欧盟范围内人工智能系统的有害影响，并支持创新。其中，高水平保护健康、安全和基本权利，促进人工智能以人类为中心和值得信任，就是要求人工智能发展应用是安全的，这是欧盟发展人工智能的基础，在此基础上支持人工智能创新和确保人工智能相关商品和服务在欧盟范围自由流动。欧盟委员会、欧洲议会和欧盟理事会的前述三部立法文件在促进人工智能安全发展的目标是一致的，并且，在欧盟《人工智能法》的立法过程中人工智能安全的内涵得到扩展。European Commission Proposal和Council of EU General Approach将其表述为“健康、安全和基本权利”，European Parliament Negotiation Texts将其扩展为“促进采用以人类为中心和值得信赖的人工智能，确保对欧盟《宪章》规定的健康、安全和基本权利、民主、法治和环境的高水平保护”，后者被欧盟《人工智能法》采纳。European Parliament Negotiation Texts还将其中的“以人类为中心”、“可信”的要求明确为：“人工智能以人类为中心是其在欧盟内发展应用的先决条件，不应取代人类的自主权或承受个人自由的丧失，应主要服务于社会的需要和公共利益，并要求提供保障措施，确保发展和使用尊重欧盟价值观和宪章的道德嵌入式的人工智能。” 为了实现以上目标，欧盟《人工智能法》采取了人工智能安全风险类型化防控策略。Council of EU General Approach提出，要“遵循一种明确定义的基于风险的方法，为人工智能系统引入一套成比例和有效的约束规则。这种方法应该根据人工智能系统可能产生的风险的强度和范围来调整此类规则的类型和内容”。关于风险，欧盟《人工智能法》将其定义为“伤害发生的概率和该伤害的严重程度的组合”。按照以上基于风险的防控方法，该法建立了安全风险类型化防控机制，将防控对象分为三大类六小类，分别采取不同的防控对策：（1）违反欧盟价值观的人工智能活动。用于该类活动的人工智能系统是操纵、剥削他人或进行社会控制的强大工具，该类活动背离欧盟尊重人类尊严、自由、平等、民主、法治和基本权利等基本价值，应受到该法禁止；（2）人工智能系统。根据欧盟《人工智能法》对人工智能系统的定义，人工智能系统是针对一定的应用场景和任务而设计研发，不同的人工智能系统具有不同的风险，欧盟《人工智能法》根据风险高低将其分为高风险人工智能系统、高风险之外的与自然人直接互动的人工智能系统和其他人工智能系统，对高风险系统及相关方规定了最多的要求和义务，第二类系统风险较低，只受透明度义务等有限的约束，第三类系统风险最小，被允许在欧盟范围内自由开发和使用；（3）通用人工智能模型。通用人工智能模型不同于人工智能系统，具有显著的通用性，可以集成到各种下游系统或应用程序中，由于其不针对特定的应用场景和任务，其开发和提供时并不具有具体的风险，只是由于其影响力可能带来风险，欧盟《人工智能法》将其作为不同于人工智能系统的监管对象，规定了相应的风险防控要求。 基于以上类型化风险防控策略，欧盟《人工智能法》建立了人工智能安全风险防控制度。欧盟《人工智能法》正文12个标题共85条，前6个标题是人工智能安全风险防控相关规定，是该法的主要内容。人工智能系统及通用人工智能模型安全风险防控机制主要由前五个标题的规定设定，核心内容是设定不同类型的防控对象，规定相应的禁则、要求和安全管理义务，以及设置评估、合规、管理和程序保障制度。 需要注意的是，以上人工智能安全风险防控规定并非只与人工智能安全相关，也涉及网络安全、个人数据保护等，与其他欧盟立法或成员国立法部分重叠。该法提到，该法不影响后者立法的适用，是对后者的补充而非替代，例如，“人工智能系统根据本条例被归类为高风险人工智能系统的事实不应被解释为，使用该系统在欧盟法其他立法或符合欧盟法律的成员国法律中是合法的”，又如，在个人数据保护方面，任何与之相关的人工智能系统应用仍然应符合欧盟及相关成员国国家立法的要求。
对人工智能安全风险进行类型化防控，首先应界定不同的防控对象。其中，人工智能系统是主要的防控对象，欧盟《人工智能法》在标题一“一般规定”中首先定义了人工智能系统，并在后续标题中界定了其他防控对象。 哲学社会科学、人工智能科学等领域的学者对人工智能的内涵和外延存在不同看法，只有在法律上清楚界定“人工智能系统”，才能夯实欧盟《人工智能法》中安全风险防控机制的基础。该法在第3条定义了人工智能系统，该定义在前述三部法律文件中经过多次修改，反映了人工智能系统法律定义的发展过程。 European Commission Proposal将人工智能系统定义为“使用附录一中列出的一种或多种技术和方法开发的软件，能够针对一组人类定义的目标，产生内容、预测、建议或影响其互动环境的决策”。该提案附录一规定的人工智能技术和方法是机器学习方法、基于逻辑和知识的方法统计方法、贝叶斯估计、搜索和优化方法。该定义将人工智能系统界定为软件，并对其使用的技术和方法进行了技术上相对确定的描述，这些技术和方法使人工智能系统具有自主性，但在定义中没有直接表述。 Council of EU General Approach将人工智能系统定义为“一种被设计为以自主性组件运行的系统，其基于机器和/或人类提供的数据和输入，使用机器学习和/或基于逻辑和知识的方法推断如何实现一组给定的目标，并产生系统生成的输出，如内容（生成式的人工智能系统）、预测、建议或决策，影响与人工智能系统交互的环境”，删除了附录一，将其内容整合到定义中，并在法案的说明（recital）中描述机器学习方法和基于逻辑和知识的方法。该定义提出人工智能系统以自主性组件来运行，但是，没有明确将自主性定义为人工智能系统的基本特性，只在说明部分间接提到人工智能系统的自主性，与其“在没有人类参与的情况下运行的程度有关”，区别于完全由人工确定操作流程的计算机程序或系统，而“使用仅由自然人定义的规则来自动执行操作的系统不应被视为一个人工智能系统”。 European Parliament Negotiation Texts将人工智能系统定义为“一种基于机器的系统，它被设计为具有不同程度的自主性，为了显性或隐性目标可以产生影响物理或虚拟环境的输出，如预测、建议或决策”。该定义强调人工智能的自主性，能够在没有人类干预的情况下进行操作，删除了对人工智能所使用技术和方法的描述，同时在说明中提到人工智能系统“通常具有机器学习能力，使它们能够自主地适应和执行新的任务”，强调该法旨在解决通过将控制权委托给人工智能系统可能出现的新的潜在风险，由于其功能和输出基于抽象的数学关系，导致人类很难理解、监控和追踪到特定的输入，影响其可问责制和可解释性。欧盟《人工智能法》采纳了该定义，并在说明部分确认“具有不同程度的自主性”是人工智能系统的基本特性，同时具有推理和影响物理的或虚拟环境的能力。 欧盟《人工智能法》定义的人工智能系统本质上是具有一定自主性的、基于机器的计算机信息系统。自主性既是人工智能系统的技术特性，也是其法律特征。在技术层面，自主性特征使其区别于“更简单的传统软件系统或编程方法”和“基于仅由自然人定义的规则来自动执行操作的系统”。在法律层面，自主性特征引起责任主体和责任关系的变化，对于人工智能系统自主运行导致的后果如何追责，在传统的以人为唯一责任主体、对人的行为及其引起结果追责的法律责任制度体系中没有“吻合”的规定，导致在现有法律体系下无法有效防控人工智能安全风险。人工智能系统的自主性是制定人工智能法的事实和法律基础，界定人工智能系统应明确该基本特征，考虑到人工智能技术的未来发展难以预测，以现有的技术和方法来限定人工智能系统，会不当限定人工智能系统的范围，导致该法立法基础不稳固，因此，不宜将现有技术和方法作为限制条件规定在定义中，而在立法说明中列举现有的人工智能技术和方法则有利于对人工智能系统自主性的理解。 欧盟《人工智能法》根据防控对象的风险程度将其分为禁止的人工智能活动、人工智能系统和通用人工智能模型。在该法制定的过程中，欧盟成员国及前述三机构对前二者的态度较顺利地达成一致，但是，对于是否应将通用人工智能模型纳入防控对象，则经过了较长时间的协商。 禁止的人工智能活动是滥用人工智能系统进行“操纵、剥削和社会控制活动”，其被限定为以下4类行为。 （1）使用潜意识技术的人工智能操纵。该行为是将以下人工智能系统投放市场、投入服务或使用，该系统使用了超出人意识的潜意识技术或故意操纵或欺骗技术，其目的或其实际影响是，通过明显损害他人作出知情的决定的能力，以导致或可能导致其或第三人或一群人的重大伤害的方式，作出其本来不会作出的决定，扭曲一人或一群人的行为。例如，该类系统在音频、图像、视频使用了潜意识内容刺激，这些刺激超出了人的感知范围，或以其他人无法意识到的方式操纵或欺骗性技术破坏或损害人的自主、决策或自由选择，人们即使意识到也仍然被欺骗、无法控制或对抗，如通过脑机接口或虚拟现实给人的刺激实现更高程度的控制。该类人工智能系统的提供者或部署者在主观上有扭曲他人行为的意图，但不需要对造成他人身体或心理伤害存在故意，只要伤害结果是由以上活动所致即可。 （2）利用自然人弱点的人工智能操纵和生物识别分类。该行为是将以下人工智能系统投放市场、投入服务或使用，该系统利用一个人或特定群体因其年龄、残疾或特定的社会或经济状况导致的任何弱点，其目的或实际影响是以导致或相当可能导致其或他人重大伤害的方式，扭曲其或所属群体的人的行为，或者将以下系统为了特定目的投入市场或投入服务或使用，基于他人生物特征数据分类自然人，以推断其种族、政治观点、工会成员、宗教或哲学信仰、性生活或性取向，但不包括对合法获得的生物特征数据集进行标签或过滤的行为。 （3）不公正的人工智能社会评分。该行为是将以下人工智能系统投放市场、投入服务或使用，目的是对自然人或其所属群体根据他们的社会行为或已知的、推断或预测个人或人格特征在一段时间内进行评估或分类，进而得出社会得分，导致以下至少一项后果：一是在与数据最初产生或收集的环境无关的社会环境中对自然人或其所属群体的有害或不利的对待；二是对自然人或其所属群体给予不合理或与其社会行为或其严重性不成比例的、有害或不利的对待。禁止对自然人进行社会评分的人工智能系统应用，是因其可能导致歧视性结果，排挤某些群体，可能侵犯人的尊严、不被歧视的权利以及平等和正义的价值观，但是，不影响根据成员国和欧盟法律为特定目的对自然人进行的合法评估。 （4）在公共场所使用实时远程生物识别、使用自然人犯罪风险分析、人脸采集、情绪分析系统。该类活动包括除了特定目的之外的、出于执法目的在公共场所使用实时远程生物识别系统，以及将以下人工智能系统投放市场、投入服务或使用，该系统纯粹基于自然人的分析或基于对其个性特点和特征的评价，来评估或预测自然人实施某犯罪的风险，或者是通过从互联网或闭路电视录像中无目标地抓取面部图像来创建或扩展面部识别数据库，或者是在工作场所和教育机构领域推断自然人的情绪，情绪推断系统出于医疗或安全原因而投入使用的除外。欧盟《人工智能法》在说明部分解释了禁止的原因：禁止第一种行为是因其侵犯人的权利和自由，可能影响很多人的私生活，产生持续受监视的感觉，并间接阻碍其集会自由和其他基本权利的行使。另外，该系统应用技术的不准确性可能会有偏差的结果进而导致歧视性效应，同时，由于该类系统相关影响的即时性和进一步检查或纠正的机会有限，给执法对象的权利和自由带来了更高的风险；禁止第二种行为是根据无罪推定原则，对欧盟内的自然人应始终根据其实际行为进行判断，而不应该仅根据自然人的特点、个性特征或特性来进行人工智能预测判断；禁止第三种行为是因其增加了大规模监视的感觉，可能导致严重侵犯基本权利包括隐私权；禁止第四种行为是因其识别或推断情绪的科学基础被严重质疑，特别是情绪的表达在不同的文化和情况下存在显著差异，这类系统存在可靠性有限、缺乏特异性和有限的通用性等主要缺点，可能导致歧视性的结果，侵犯使用对象的权利和自由。考虑到工作或教育场景下的权力不平衡及该类系统的侵入性，可能导致对某些人或其所属群体的不利的对待。 欧盟《人工智能法》将人工智能系统进行分类，将其中的高风险人工智能系统和与自然人直接互动的人工智能系统作为防控对象，规定了对各自的要求及相关人的义务，而对其他人工智能系统则通过鼓励和促进制定行为守则的方式，提倡相关人自愿遵守该法规定的要求。 高风险人工智能系统是对人的健康、安全或基本权利造成伤害的风险高且用于该法规定领域的人工智能系统，是欧盟《人工智能法》的主要防控对象。该法规定了高风险人工智能系统的分类标准：如果人工智能系统意图作为附录二所列的欧盟协调立法所涵盖的产品的安全组件使用或其本身就是前述产品，或者其安全组件为人工智能系统的产品及人工智能系统本身作为产品，要经过第三方根据附录二所列的欧盟协调立法合规评估才能投放市场或投入使用，以及附录三所述的人工智能系统，即属于高风险人工智能系统；还特别规定将对自然人进行画像分析的人工智能系统分类为高风险。高风险人工智能系统分类的实质标准是对受保护的法律利益造成重大风险；如果人工智能系统不对自然人的健康、安全或基本权利造成重大损害，包括不对决策结果产生重大影响，则不应被视为高风险，欧盟《人工智能法》就此列举了4种排除情形。 欧盟《人工智能法》的附录二、三是确定高风险人工智能系统的重要依据，客观上限定了高风险人工智能系统的应用范围。附录二包括A、B两个部分，A部分包括12个欧洲议会和理事会指令，B部分包括7个欧洲议会和理事会文件，这19个指令文件是关于重要设备设施安全的规定，这些设备设施（部分或全部）的人工智能化都属于高风险人工智能系统。附录三将用于以下8类领域活动的人工智能系统规定为高风险人工智能系统：自然人的生物识别、关键基础设施的管理和运营、教育和职业培训、就业、雇员管理和获得自营职业机会、获得和享受基本的私人服务和公共服务及福利、执法活动、移民和庇护及边境控制管理、司法和民主程序。 欧盟《人工智能法》认为，越来越难以区分人工智能系统生成的合成内容信息与人类制作的真实内容信息，该类系统的广泛应用和不断增强的能力对信息生态系统的完整性和信任产生了重大影响，增加了错误信息、大规模操纵、欺诈、假冒和消费者受欺骗的新风险，无论其是否为高风险，其提供者和部署者都应遵守透明度义务。该类防控对象是与自然人互动的人工智能系统，欧盟《人工智能法》列举了该类人工智能系统的具体类型及相关方的义务。 与自然人直接互动的人工智能系统的提供者，应当在该类系统的设计和开发过程中，确保相关自然人被告知其正在与人工智能系统互动，除非考虑当时环境和使用情况，从合理知情的、善于观察的和谨慎的（reasonably well-informed, observant and circumspect）自然人的角度来看是很明显的。生成合成音频、图像、视频或文本内容的人工智能系统包括通用人工智能系统的提供者，应确保人工智能系统的输出以机器可读的格式并可检测为人工生成或操作来标记。 情绪识别系统或生物识别分类系统的部署者应告知自然人该系统的运行情况及其成为系统的使用对象，并按照欧盟相关法规和指令处理个人数据。生成或处理形成深度合成的图像、音频或视频内容的人工智能系统的部署者，应当披露该内容是人工生成或操纵的。欧盟《人工智能法》同时规定了以上透明度义务的例外情形。 如果以上系统符合高风险人工智能系统的特征，则仍要遵守高风险人工智能系统的要求和义务，遵守以上透明度义务不应被解释为使用该系统或其输出是合法的，仍要遵守欧盟及成员国相关法律规定的义务。 3.通用人工智能模型（General Purpose AI Model） European Commission Proposal没有规定对通用人工智能系统的要求，而其他两部文件都有规定。European Parliament Negotiation Texts将其定义为“可用于并适应于宽范围应用的人工智能系统，该系统不是有意和专门设计的”。Council of EU General Approach将其定义为“提供者意图用于执行一般应用功能的人工智能系统，如图像和语音识别、音频和视频生成、模式检测、问答、翻译等，不论其如何投放市场或投入服务，包括作为开源软件”，要求通用人工智能系统作为高风险人工智能系统或其组件使用时，应满足对高风险人工智能系统的要求，除非其提供者在使用说明或附带的信息中明确排除了所有高风险用途。以上规定混淆了通用人工智能系统（GPAI system）和通用人工智能模型（GPAI model），欧盟《人工智能法》将二者进行区别，增设了标题VIII“通用人工智能模型”，对其进行分类并规定了提供者的义务。 根据基于高影响能力的分类规则，通用人工智能模型被分为不存在和存在系统性风险的通用人工智能模型。这里的系统性风险不同于人工智能系统的风险，特指通用人工智能模型因其高影响能力而具有的风险，详言之，因其影响力对欧盟内部市场有重大影响，并对公共健康、安全、公共安全、基本权利或社会整体具有实际或合理可预见的负面影响，该风险可以在整个价值链上进行大规模的传播。由于通用人工智能模型是大量下游系统的基础，下游系统的提供者只有充分了解模型及其功能，才能使之集成到其系统中，因此，欧盟《人工智能法》要求通用人工智能模型提供者承担以下四项义务：制作、更新和按要求向有权机构提供技术文件；制作并更新及向下游人工智能系统提供者提供了解通用人工智能模型的能力和局限性的信息和技术文件；制定尊重欧盟版权立法相关政策；制作和公开培训通用人工智能模型内容的详细摘要。对于存在系统性风险的通用人工智能模型，由于其高影响能力，提供者应承担识别和减轻这些风险并确保适当水平的网络安全保护的义务，以及以下四项义务：模型评估；评估并减轻欧盟层面的可能存在的系统性风险；负责跟踪、记录有关严重事件的相关信息和及时报告给人工智能办公室；对该模型及其物理基础设施提供足够的网络安全保护。欧盟《人工智能法》要求在欧盟外设置的人工智能系统模型提供者，在向欧盟市场投放通用人工智能模型之前，应通过书面授权任命一名在联盟建立的授权代表，并使其能够执行本条例规定的任务，授权代表应当履行确认制定技术文件，保存技术文件副本、必要的信息和文件并提供给主管当局，向主管当局提供提供者的联系方式并与之合作等义务。 欧盟《人工智能法》对防控对象的分类是基于两种不同类型的风险。对于禁止的人工智能活动和人工智能系统，是基于伤害发生的概率和严重程度组合的“风险”进行的分类，该风险具有现实性。对于通用人工智能模型，因其提供时并无具体的应用目标而不存在前述风险，欧盟《人工智能法》创设了基于高影响能力的“系统性风险”概念，该风险需要通过后续人工智能系统应用才能被现实化，只是因其可能因大量应用形成重大负面影响，才需要采取更早的防控措施。欧盟《人工智能法》中的风险防控机制主要针对能够引起第一类风险的防控对象，分别采取禁止、严格管控、有限管控，重点是防控高风险人工智能系统的安全风险。
防控高风险人工智能系统的安全风险是欧盟《人工智能法》的主要内容，规定在标题三“高风险人工智能系统”部分，共5章46条。其中，第二章“对高风险人工智能系统的要求”、第三章“高风险人工智能系统的提供者和部署者以及其他方的义务”是高风险人工智能风险防控制度的实体部分。 为了降低高风险人工智能系统投放市场或投入使用的风险，确保其高水平的可信度，高风险人工智能系统需要满足以下七项强制性要求： （1）建立实施、记录和维护风险管理系统。该管理系统能够识别和分析高风险人工智能系统按预期用途使用时，可能对健康、安全或基本权利造成的已知和可合理预见的风险；评估按预期目的和在可合理预见的滥用条件下使用时可能出现的风险；根据上市后市场监测系统中收集到的数据分析评估其他可能出现的风险；采取措施将系统开发或设计或提供充分的技术信息可以合理减轻或消除的风险降至最低，使与每种危险相关的残余风险及系统总体残余风险达到可以接受的程度。 （2）数据治理。开发利用涉及使用数据训练模型技术的高风险人工智能系统，应在符合规定的质量标准的培训、验证和测试数据集的基础上进行。 （3）提供技术文件。高风险人工智能系统的技术文件应在该系统上市或投入使用之前制作并保持最新状态，能够证明该系统符合法定要求，并向国家主管机构和通知机构提供所有必要的信息以进行评估。 （4）保存日志。高风险的人工智能系统在技术上应允许在系统的生命周期内自动记录事件即日志，确保人工智能系统功能的可追溯性水平，并符合系统的预期目的。 （5）透明度和向部署者提供信息。高风险人工智能系统的设计和开发方式应确保其操作足够透明，使部署者能够解释系统的输出并适当地使用它，确保适当的透明度，以实现遵守第3标题第3章中所述部署者和提供者相关义务。 （6）人工监督。高风险人工智能系统的开发设计，包括适当的人机界面，应在系统使用期间能由自然人有效监督，以预防或尽量减少高风险人工智能系统在按照其预期目的或在合理可预见的滥用情况下使用时，可能造成的侵犯健康、安全、基本权利的风险。监督措施应与人工智能系统的风险、自主程度和使用背景相称，并有法定的措施来保障。向用户提供高风险人工智能系统时，应酌情并根据具体情况使被指派进行人工监督的自然人能够使用该系统。对于该法附录三第1点（a）所述的高风险人工智能系统，除了确保前述措施，除非已由至少两名具有必要能力、培训和权力的自然人单独核实和确认，部署者不得根据系统产生的识别采取任何行动或决定。 （7）准确性、鲁棒性（鲁棒性是一个计算机科学术语——笔者注）和网络安全。高风险人工智能系统的设计和开发，应根据其预期目的达到适当的精度、鲁棒性和网络安全水平，并在整个生命周期中表现一致。 （二）高风险人工智能系统的提供者、部署者及其他方的义务 前述要求要通过相关方履行义务来实现，欧盟《人工智能法》对高风险人工智能系统提供者规定了强制性义务，确保其提供的系统满足前述要求，对系统的部署者及其他相关方也规定了相应的义务。 将高风险人工智能系统投放市场或投入使用的自然人或法人，无论是否为系统的设计者或开发者，都是该系统的提供者。除了确保系统符合前述要求和标注名称地址，提供者还应承担建立质量管理体系、保存该法第18条规定的文件、保存日志数据、通过合格评定程序和起草欧盟合格性声明及加贴CE标志、登记、对不符合要求的高风险人工智能系统采取必要的纠正措施、与主管机构合作的义务，以及其他义务。 高风险人工智能系统经过生产、提供、流转和使用等多个环节，其风险与人工智能价值链上的多方行为紧密关联，提供者之外的部署者及其他相关方被要求承担适当的义务，共同管控安全风险。 （1）授权代表的义务。为了确保在任何情况下，主管机关能获得关于人工智能系统合规性的所有必要信息，在欧盟境外设立的提供者在欧盟境内提供高风险人工智能系统之前，应书面授权任命一名在欧盟境内设立的授权代表担任其欧盟内的联系人，执行授权任务，如核实情况、提供信息、文件和日志、与主管机构合作等。如果受权代表认为或有理由认为提供者违反了该法规定的义务，则应终止受权并立即通知主管机构和相关通知机构。 （2）进口者的义务。由于人工智能系统价值链的复杂性，为了确保欧盟《人工智能法》被严格遵守，相关经营者包括进口者被要求发挥积极作用，遵守一定的义务，包括承担核实相关情况、阻止违反该法的系统投放市场、报告风险、标注名称和地址、保存使用说明和欧盟合格声明证书副本、向国家主管机构提供信息和文件以及与国家主管当局合作降低和减轻风险的义务。 （3）经销者的义务。高风险人工智能系统的经销者向欧盟市场投放系统之前，应承担核实相关情况，阻止违反该法的系统投放市场，确保存储或运输条件符合要求，对不符合该法规定的系统采取纠正、撤回或召回措施，报告风险，向主管机构提供信息和文件，与国家主管当局合作降低或减轻风险的义务。 （4）部署者的义务。欧盟《人工智能法》提出，高风险人工智能系统的风险既源于系统的设计，也来自系统的使用，部署者在确保基本权利受到保护、弥补提供者开发人工智能系统的义务方面发挥关键作用，还对使用环境、可能受影响的人或群体包括弱势群体有更准确的了解，更清楚高风险人工智能系统如何具体使用，可以识别开发阶段未预见的潜在重大风险，对向自然人提供信息方面起关键作用。因此，高风险人工智能系统的部署者被要求承担一定的义务，包括遵照使用说明、安排适格人员进行人工监督、符合预期目的的数据输入控制、监控系统运行、保存自动生成的日志、向受影响的劳工提供相关信息、注册义务、数据保护评估、对特定对象依法使用、告知系统使用对象、与相关国家主管合作等，以及评估高风险人工智能系统可能对基本权利的影响。 （5）义务转移。提供者的义务在一定情形下转移给进口者、经销者、部署者或其他方，由后者承担第16条规定的提供者义务，而最初的提供者不再被视为提供者。这些情形是后者在已投放市场或投入使用的高风险人工智能系统上标注自己的名称或商标，或者对前述系统进行重大修改且仍为高风险人工智能系统，或者修改已投放市场或投入使用的、未被归类为高风险的人工智能系统的预期目的，致使其成为高风险人工智能系统。不过，除非前提供者明确排除将其系统变更为高风险系统及移交文件的义务，其仍应与后者密切合作，提供必要的信息、合理预期的技术访问和其他协助，使其能够履行本规定所需的义务。当高风险人工智能系统作为附件二中第A部分所列立法规定的产品的安全组件，而高风险人工智能系统以产品制造商的名称或商标与产品一起投放市场，或者产品上市后以产品制造商的名称或商标投入使用，该产品的制造商被视为高风险人工智能系统的提供者，以确保最终产品中嵌入的人工智能系统符合本条例的要求。 高风险人工智能系统风险防控机制具有以下特点。（1）义务的体系化。该风险防控机制对高风险人工智能系统提出了较为全面的要求，并落实为对提供者等多方的不同安全管理义务，形成较为合理的义务体系，表现为：其一，按照人工智能价值链设置全过程的义务。人工智能价值链始于生产者和提供者，流转环节有授权代表、进口者和经销者，终端是部署者和用户，价值链上各方承担安全管理义务，构建了全过程的风险防控义务体系。其二，基于风险引起和控制能力设置层次化的义务。提供者是高风险人工智能系统风险的制造者，并有最强的管理能力，承担的义务多且重，部署者在系统应用阶段承担主要的风险防控义务，并起着补充提供者风险管控义务的作用，其他方承担的义务主要是督促前二者履行义务，形成了以提供者和部署者的义务为双核心的层次化义务。（2）义务的类型化。以上义务针对的是三类风险。第一类是防控人工智能技术风险的义务，如风险管理系统、数据治理、人工监督、准确性、鲁棒性和网络安全、质量管理体系等由系统提供者承担的义务，又如遵照使用说明、安排适格人员进行人工监督、符合预期目的的数据输入控制、监控系统运行等由系统部署者承担的义务。第二类是保障自然人基本权利的相关义务，如透明度义务、对系统使用对象的信息告知、对特定使用对象的依法授权使用等，主要由系统提供者和部署者承担义务。第三类是监管程序要求的义务，如保存相关文件和日志数据、完成合格评定程序、制作欧盟合格性声明、加贴CE标志、登记注册、核实情况、与主管机构合作、报告风险等。这类义务数量最大，前述各方都要承担此类义务，以确保安全风险被及早发现和采取减控措施，督促前二类实体性风险防控义务得到有效履行。（3）义务的合比例性和平衡性。以上义务主要是为了保障人工智能安全，义务的设置较为适度，如建立风险管理系统义务只要求识别和分析已知和合理预见的风险，并采取适当的风险管理措施等。同时，为了促进发展，欧盟《人工智能法》设置了标题五“支持创新的措施”，规定了人工智能监管沙盒制度，促进特定领域人工智能系统的公益性创新开发，同时规定了沙盒参与者的义务，体现了对发展与安全利益的平衡。
为了保障对人工智能安全的风险防控，欧盟《人工智能法》要求成员国制定“有效、合比例性并具有阻遏性”的处罚规则和其他执行措施，并在标题十“保密与处罚”中规定了处罚的行为及其罚则。 前述三机构法律文件规定的处罚行为及罚则有较大差别，反映其对违反该法行为的不同立场。European Commission Proposal将处罚的行为分为三类，Council of EU General Approach将处罚的行为分为不同的三类，European Parliament Negotiation Texts将处罚的行为分为四类，三者都对违反该法的行为设置了多层次的罚则，且没有按义务承担者类型设置罚则，区别主要是对违反数据治理、信息透明义务行为规定了不同的处罚。Council of EU General Approach规定的罚则显然存在不合理性，对自然人、公司和欧盟机构、部门或实体实施的第二类行为的范围不一致，且应受处罚的行为未涵盖所有违规行为，相应的要求和义务可能成为空条文。European Parliament Negotiation Texts对处罚行为的分类更细致、合理，对违反不同义务的行为进行区别化处罚，体现了“重重轻轻”的比例原则。 欧盟《人工智能法》规定了不同于前三部法律文件的违法行为和罚则体系。与前述三类防控对象相对应，该法将应受处罚的行为分为三大类，分别是违反人工智能禁则的行为、违反人工智能系统安全管理义务的行为和违反通用人工智能模型安全管理义务的行为，并规定了相应的罚则。 第一大类行为是违反该法第5条（禁止的人工智能活动）的行为，对自然人和公司犯该条的，最高处3500万欧元和上一财政年度全球年营业额的7%中较高的罚款，对欧盟机构、部门或实体最高处150万欧元罚款。罚则的严厉程度较之于European Parliament Negotiation Texts的规定略低，仅略微降低了对自然人和公司的罚款金额上限。 第二大类行为是人工智能系统安全管理义务承担者违反部分义务的行为，包括两类行为：第一类行为是违反信息提供义务，向通知机关和国家主管机关提供不正确、不完整或误导性信息的，对自然人和公司最高处750万欧元和上一财政年度全球年营业额的1%中较高的罚款；第二类是违反其他义务的行为，对自然人和公司最高处1500万欧元和上一财政年度全球年营业额的3%中较高的罚款，对小微企业和初创企业的处罚比例降为2%，且按比例处罚和金额处罚中较低的罚款，对欧盟机构、部门或实体最高处75万欧元罚款。 以上行为分类及处罚规定具有以下特点：（1）防控对象是高风险人工智能系统和与自然人互动的人工智能系统，其他人工智能系统不是该罚则的适用对象，而且，不区分人工智能系统类型，将违反前述二类人工智能系统安全管理义务的行为按同一处罚档次处罚。（2）明确规定处罚对象。与前述三机构的立法提案不同，欧盟《人工智能法》按受罚主体规定罚则，处罚对象限定为前述提供者、授权代表、进口者、经销者、部署者以及欧盟机构、部门或实体。（3）仅处罚违反部分义务的行为，且不按义务的内容设置差别化的处罚。与European Commission Proposal和European Parliament Negotiation Texts不同的是，欧盟《人工智能法》规定的罚则仅处罚违反部分义务的行为，如高风险人工智能系统提供者违反第21条（纠正行为和报告义务），部署者违反第29条第6b款（告知高风险人工智能系统使用对象的义务）、第6c款（与主管机构合作采取降低风险的义务），都不在受罚行为的范围内。European Commission Proposal和European Parliament Negotiation Texts分别将违反第10条和第13条规定义务的行为规定了更重的处罚，而欧盟《人工智能法》对违反义务的行为不区别义务内容适用同一处罚档次，这种不区分人工智能系统风险程度和义务违反行为严重程度的规定是否合理，值得商榷。 值得注意的是，本类行为的罚则还处罚通知机构，对通知机构违反欧盟《人工智能法》第33条、第34条第1款、第34条第3款、第34条第4款、第34a条的要求和义务的行为，适用前述相同的罚则。本类行为的罚则还规定了处罚考虑的因素，包括违反行为及其后果、主观心态、事后的纠正和减轻危害的行为、对同一行为是否受处罚、经营者规模、年营业额和市场份额等所有可能影响处罚轻重的因素。 第三大类行为是通用人工智能模型提供者违反义务的行为，最高处1500万欧元和上一财政年度全球年营业额的3%中较高的罚款。违反的义务是前述通用人工智能模型提供者的义务，特别重申了按要求提供文件或信息的义务、遵守按要求采取改正和降低风险措施的义务、向主管机构提供进入通用人工智能模型的访问权的义务。针对该类行为的罚则具有以下特点：（1）仅处罚通用人工智能模型的提供者。虽然欧盟《人工智能法》规定了通用人工智能模型提供者委托的授权代表的义务，但没有规定处罚其授权代表的规定。（2）与人工智能系统安全管理义务承担者的处罚档次相同。通用人工智能模型不具有前述人工智能系统的现实性风险，这是将其独立设置安全管理义务的主要原因，但对其提供者却规定了与后者的安全管理义务承担者相同的处罚档次。（3）未将违反按要求提供文件或信息义务的行为单独设置罚则。前述第二大类行为的罚则对违反按要求提供文件或信息义务的行为规定了较违反其他义务更轻的处罚，而对通用人工智能模型提供者违反各类义务的行为只设置了一个处罚档次。（4）未对存在系统性风险的通用人工智能模型提供者规定更重的处罚。欧盟《人工智能法》对通用人工智能模型进行了分类，对存在系统性风险的通用人工智能模型规定了更高层次的安全管理义务，以防止其高影响能力可能引起的系统性风险，但是，对于该类模型提供者违反义务的行为却没有规定区别性的处罚。对于该类行为适用罚则需要考虑的因素，只笼统性规定应适当考虑比例性和适当性原则，仅列举违反义务行为的性质、严重性和持续时间，较之于第二类行为罚则的相应规定要简陋得多。 欧盟《人工智能法》处罚的行为难以适用现有欧盟和成员国法律进行处罚，故有必要设定以上专门的罚则。欧盟《人工智能法》处罚的行为及其罚则具有以下特点和不足：（1）禁止的人工智能活动受到最严厉的处罚，因其侵害的法益更重要，且危害的确定性程度更高。（2）对违反人工智能系统安全管理义务的行为是否应予区别化处罚，前述三机构的立场不一致，欧盟《人工智能法》采取了无差别处罚的做法。从人工智能科学的角度看，该法第10条规定的数据治理要求对人工智能安全极为关键，将违反该种义务的行为与违反其他一般性义务（特别是一般的管理程序义务，如第48条规定的起草欧盟合格声明义务）的行为适用相同档次的处罚，既没有反映不同义务违反行为的危害性程度差别，也不符合其基于风险的安全防控策略。（3）为适应对通用人工智能模型的分类和义务设置，欧盟《人工智能法》新增了通用人工智能模型提供者违反安全管理义务行为的独立处罚规定。该罚则是该法生效后一年才予适用，给其提供者以调整时间，并在处罚之前给予其陈述意见的机会，但是，这种宽大处理与前述分类规则和义务设定不相对应，也没有考虑通用人工智能模型与人工智能系统安全风险性质的差别，罚则的严厉程度与后者罚则相同。整体上看，该类罚则显得“粗糙”和“匆忙”，存在较多的不合理之处。（4）处罚行为的有限性。欧盟《人工智能法》只对部分违反禁则和义务的行为作出了处罚规定，且没有说明其选择性处罚的根据，同时，其处罚的是违反禁则和义务的社会服务和市场行为，恶意利用人工智能系统危害国家安全、公共安全和侵害他人合法权益的，不属于该法处罚的范围。
我国新一代人工智能发展应用迅速，近年来通过了《生成式人工智能服务管理暂行办法》等规范具体领域人工智能应用的行政规章，未来需要制定一部全面规范人工智能安全发展的专门立法。欧盟人工智能立法时间较长，讨论较为充分，欧盟《人工智能法》中防控人工智能安全风险的成功制度设计值得我国借鉴，特别是其防控立场、方式和视角对我国人工智能立法具有重要参考价值。 人工智能系统的法律性质是欧盟人工智能立法的基础问题。根据欧盟《人工智能法》对人工智能系统的定义，人工智能系统具有自主性，如果将其按照传统的、完全受人控制的产品对待，会存在事实上的“错位”，套用或者扩展适用传统的产品与服务相关立法不仅会遇到法律适用的困难，也不能有效防控人工智能安全风险。人工智能科学界预测未来可能发展出完全自主的“强人工智能”，理论有观点认为应赋予人工智能系统以“法律人格”。而欧盟《人工智能法》明确将人工智能定性为可控的工具，“作为一个先决条件，人工智能应该是一种以人为中心的技术。它应该作为人们的一种工具，其最终目的是增加人类的福祉”。以上立场被贯彻到欧盟《人工智能法》的安全风险防控机制中，体现在欧盟《人工智能法》对人工智能系统的定义，对各类人工智能系统和模型的要求，对人工智能系统提供者、生产者及相关方的义务，安全标准和罚则等规定上。例如，欧盟《人工智能法》对人工智能系统设置了适合进行人工监督的要求，强调人工监督“意味着人工智能系统被开发和用作一种服务于人类、尊重人类尊严和个人自主权的工具，并以一种可以被人类适当控制和监督的方式运作”，没有任何条款试图将人工智能系统或者其中的某一类作为“法律上的人”，也没有将人工智能系统作为受罚主体规定任何形式的处罚。 关于人工智能的法律性质，欧盟人工智能相关立法的立场是一致的。2016年5月31日欧盟委员会法律事务委员会提交了《关于机器人的民法规则的对委员会建议的报告》，该报告在责任部分提到“不应仅以损害是由非人类代理人（非人类代理人指的是机器人和人工智能系统——作者注）造成的为理由，限制可能向受害方提供的赔偿形式”。国内有学者从“非人类代理人”的表述推测欧洲议会和欧盟理事会试图赋予机器人和人工智能系统“拟制电子人”地位。实际上，该报告只是建议按严格责任对机器人造成的损害追责，建立机器人强制保险制度，要求其生产者购买强制保险，而不是按照传统的损害赔偿制度来追责。2017年2月16日欧盟议会通过了《关于机器人的民法规则》(P8_TA(2017)0051)，该规则采纳了以上报告的建议，并强调“承担责任的必须是人而不是机器人”，否定机器人和人工智能的“法律拟制的人”地位。这一立场在欧盟委员会、欧洲议会和欧盟理事会对人工智能相关立法文件中得到延续，如2022年9月28日欧盟委员会通过的《人工智能责任指令》提案。 关于人工智能系统的刑事法律地位，欧盟未制定人工智能相关犯罪与刑事责任的法律文件，全球范围内也没有将人工智能系统作为犯罪主体或刑事责任主体的立法。国内外学者对人工智能体的刑事责任问题有着激烈的争论，肯定论者提出了修改刑法追究人工智能体刑事责任的观点，也有少数国家在民事或行政法律文件中将人工智能体视同法律主体，但是，在前述欧盟人工智能相关民事、行政立法将人工智能系统定位为工具的背景下，从立法的统一性角度分析，欧盟立法赋予人工智能系统犯罪主体或刑事责任主体地位是不可能的。 人工智能系统和模型具有自主性特征，防控其自主性引起的安全风险需要进行全过程的系统化防控。当前自动化信息处理和决策系统在社会各领域广泛应用，由系统而不是人直接处理信息和决策事务，发生危害后果时，难以按照人类直接处理事务的法律制度来追究责任，许多国家和地区在制定算法安全立法，如美国《算法问责法》和欧洲议会《算法责任与透明治理框架》，要求算法公开、透明和可解释，算法应用者对算法的准确性、公正、无歧视、尊重隐私和保障安全等承担义务。当前自动化信息处理和决策分为两类：一类是完全由人设计和控制的算法控制下的自动化；另一类是由人工智能算法控制的自主自动化。对于第一类自动化，由于算法完全由人控制，要求算法应用者遵守前述法律能够防控算法风险；而对于第二类自动化，其算法不完全由人控制，算法在形成和应用过程中都会发生变化，仅要求算法提供者承担安全管理义务，并不能有效防控安全风险。例如，传统汽车安全管理制度按照生产阶段和应用阶段分配产品安全风险防控责任，生产者负责产品质量符合标准，驾驶员负责汽车行驶安全。而自动驾驶汽车的开发应用使以上安全管理制度失效，因为L5级自动驾驶汽车取消了驾驶位，不再有驾驶员负责行驶安全，而将生产者的产品质量责任扩展到应用阶段。但这既不合法也不合理。有学者试图将相关方的行为按共同侵权或共同犯罪理论解释，使其承担风险防控义务，但是，实际情况并不能满足以上理论适用的主观条件，以相关性替代因果关系也缺乏法律依据和理论支撑。可见，传统法律制度及其理论不足以有效防控人工智能安全风险，需要建立多方协作防控安全风险的新法律制度，使人工智能系统生产、提供、应用价值链上所有相关方都参与风险防控，并相互协作形成合力。例如，高风险人工智能系统部署者进行人工监督，需要提供者为人工监督提供有效的操作工具，其他相关方如进口者、经销者应监督系统是否符合相关安全管理制度，而不是在人工智能安全风险扩散或发展为实害后才进行控制，提前化解人工智能发展应用中的“科林格里奇困境”。 基于对人工智能系统的可控性工具定位，欧盟《人工智能法》建立了区别不同类型人工智能安全风险的全过程多方协同防控制度。根据人工智能安全风险的类型与程度，欧盟《人工智能法》将防控对象分为三大类，建立了与风险相适应的三种防控制度。由于风险始于人工智能系统投放市场，并在进口、经销、应用过程中扩展，欧盟《人工智能法》构建了以提供者和部署者为双核心的、多方协同、相互补充相互监督的风险防控体系：（1）提供者承担主要安全管理义务。人工智能系统和模型由人制造，风险源于提供者，只有提供者才有直接应对安全风险的技术能力和条件，其他方包括国家主管机构都不具备此能力，要求提供者承担主要的防控责任既是必要的，也是唯一可行的。（2）部署者承担人工智能应用阶段的安全管理义务。部署者不仅能够直接观察到危险，如其不按照使用说明使用高风险人工智能系统还会直接引起或增大危险，要求其承担前述义务与其风险引起和防控能力相符。（3）授权代表、进口者、经销者不是系统风险的引起者，却是风险的传递者，基于其阻断或削弱风险传递和扩大的能力和地位，要求其承担一定的安全管理责任具有合理性。 作为以上风险防控制度的重要组成部分，欧盟《人工智能法》规定了主要基于义务违反的法律责任。该法律责任具有以下特点：（1）集体的义务违反责任。欧盟《人工智能法》对人工智能价值链相关方规定了不同的安全管理义务，这些义务是相互补充、监督、协作的关系，如授权代表、进口者、分销者、部署者要承担核实情况、报告风险及与主管机构合作等义务，要求各方合力防控人工智能安全风险，对人工智能安全风险承担整体防控义务。（2）综合评价责任。欧盟《人工智能法》规定的处罚考虑因素广泛，涉及行为、后果、主观心态、行为主体状况、受其他处罚情况、事后补救等各方面，从违法行为整体上评价其危害性，危害后果只是诸多考量因素之一；同时，由于欧盟《人工智能法》设置的是集体的义务违反责任，只要相关方违反义务，原则上应当对危害后果承担责任，而不受传统法律中的因果关系判断羁绊。（3）针对防控对象设置责任。欧盟《人工智能法》针对三类防控对象设置了不同的法律责任，对于同一类防控对象适用相同的处罚档次，不区分义务承担者类别和义务的具体内容。 （三）防控视角：人工智能安全风险全球化与保障本土安全和发展利益 防控全球性人工智能安全风险是欧盟《人工智能法》的立法重点。在当前网络社会环境下，基于网络的人工智能发展应用所引起的安全风险不受地域限制，人工智能安全风险对欧盟的威胁并非仅来自于欧盟域内的人工智能系统，欧盟外人工智能系统也给欧盟安全和发展利益构成严重威胁，当前欧洲人工智能技术和产业发展落后于美国，境外输入的人工智能安全风险要比本土的更严重。欧盟《人工智能法》以人工智能安全风险全球化为视角，对境外输入的人工智能安全风险予以专门的法律应对：首先，欧盟《人工智能法》的适用范围超越欧盟地域。该法不仅适用于欧盟外设立的提供者向欧盟市场提供的人工智能系统或通用人工智能模型，也适用于在欧盟域外设立，但系统的输出用于欧盟内的人工智能系统，欧盟内受到影响的人也受该法保护。其次，欧盟《人工智能法》设立了防控境外输入的人工智能安全风险的义务承担者及其特别安全管理义务。该法要求未在欧盟境内设立的高风险人工智能系统提供者向欧盟提供系统之前，应通过书面授权指定一名在欧盟内设立的授权代表，授权代表应承担相应的安全管理义务，还规定高风险人工智能系统的进口者承担一定安全管理义务，凸显欧盟《人工智能法》重视防控欧盟境外输入的人工智能安全风险，确保其处于有效的法律控制之下。 欧盟《人工智能法》对保障欧盟安全和利益具有重要作用。新一代人工智能的发展和应用给欧盟社会带来巨大福祉的同时，也带来新的安全威胁，随着人工智能在社会各领域的普及应用，欧盟社会将日益深度依赖于人工智能系统安全。当前美国人工智能技术和产业发展领先于欧盟，美国人工智能企业将是欧盟市场上人工智能系统的主要提供者，欧盟本土的人工智能技术和产业将长期处于跟跑状态，难以为欧盟社会的安全和发展利益提供充分保障。由于在人工智能技术和产业发展上的优势，美国尚未制定人工智能安全监管立法，主要采取行业自律的方式，而欧盟在不到五年的时间就通过了欧盟《人工智能法》，不仅是因为欧盟有着立法组织上的优势，也是因为在欧盟人工智能技术和产业竞争力不足的情况下，唯有依靠人工智能安全的强法律保护，才能有效防控欧盟外输入的人工智能安全风险，保护欧洲社会安全和发展利益。 在借鉴欧盟《人工智能法》的过程中，我国人工智能立法也应避免出现该法的不足。笔者认为，除了前文分析的具体问题，该法还存在以下较大的缺失。 （1）防控不全面不充分。欧盟《人工智能法》主要防控高风险人工智能系统的安全风险，对系统提供者规定了较多义务，对与自然人互动人工智能系统和通用人工智能模型提供者规定的义务较少，对后者引起的安全风险难有好的防控效果，如难以防控生成式人工智能系统传播虚假信息，实际上将由社会和公众承担风险和危害后果。生成式人工智能系统和通用人工智能系统本身没有预设特定的意图，其将用户的输入信息作为训练数据的主要来源之一，系统提供者难以保证训练数据的完整性和可信性，其风险来源于专业用户，虽然不能简单地将其归类为高风险，但也不应认为无风险，应建立提供者与用户相互协作的安全风险防控机制，而欧盟《人工智能法》仅要求提供者承担透明度义务，不足以防控这两类系统的风险。此外，欧盟《人工智能法》对禁止的人工智能活动和高风险人工智能系统采取列举式规定，虽有利于控制以上两类防控对象的范围，但是，在扩展防控对象范围时需要经过复杂的立法程序，会在一段时间内出现安全风险“敞口”。 （2）法律责任制度存在缺漏。欧盟《人工智能法》只规定了违反部分人工智能系统安全管理义务的法律责任，而且，虽然对通用人工智能模型的提供者及其授权代表都规定了安全管理义务，却没有规定授权代表违反义务行为的法律责任，使得相关义务的规定可能落空。此外，欧盟《人工智能法》规定的法律责任主要是违反义务的责任，不适用于非专业用户滥用人工智能系统的行为，不能遏制滥用人工智能系统的行为，如L3、L4级自动驾驶汽车的用户故意在人流密集、路况恶劣情形下放任严重后果发生，由于该法仅处罚四种禁止的人工智能活动，其他严重滥用人工智能系统的行为不在该法处罚的范围内。 （3）风险防控责任分配不合理。人工智能系统涉及复杂的机器学习等技术和方法，保障高风险人工智能系统安全比传统产品更困难，欧盟《人工智能法》设立了以安全标准为基础的合格性评估制度，高水平的安全标准是可靠的安全保障的基础。但是，为了兼顾促进创新和保障安全两方面利益，欧盟《人工智能法》不大可能采用高安全标准，提供者可能向社会提供符合安全标准，但存在较大安全风险的高风险人工智能系统，对公共安全构成严重威胁。作为防控高风险人工智能安全风险的主要制度保障，欧盟《人工智能法》要求提供者在系统开发设计时提供人工监督措施，并要求部署者对高风险人工智能系统进行人工监督，在人工智能系统技术安全风险客观存在、前述安全标准难以有效控制风险的情况下，以上义务设置和责任分配实际上是将责任转移给下游的部署者和使用者，而提供者的责任很大程度止于生产阶段的产品质量责任。例如，根据该法的规定，L3级以上自动驾驶汽车的个人购买及使用者应承担作为部署者的人工监督义务，即使是允许驾驶位人员不接管车辆的L4级和未设置驾驶位的L5级自动驾驶汽车也是如此，实际上免除了提供者在应用阶段的安全管理义务。这不仅会引起该法与道路交通法等法律法规的冲突，还会使个人因畏惧承担部署者责任，而避免购买和使用L4、L5级汽车，不利于以上自动驾驶汽车的社会化普及。如果免除个人使用者的部署者义务和责任，除非这两类汽车限于由运营商购买和向社会提供服务，当其遇到“电车难题”等紧急路况时，将无人承担防控安全风险的责任，使社会公众面临严重的公共安全危险。
