2024年10月28日，sciencespo.fr发布了一篇加州AI法案和欧盟AI法案对比分析文章。文章指出，2024年9月29日，加州州长加文·纽森（Gavin Newsom）否决了“前沿人工智能模型安全与创新法案”（拟议法案SB 1047）。该法案本将成为美国第一部监管高级人工智能（AI）模型，并对开发、微调或提供计算资源以训练此类模型的公司施加义务的法律。纽森的决定给这项立法努力画上了一个令人失望的句号，这项努力曾让立场相左的各方在支持和反对该法案上团结一致。尽管该法案在加州立法机构的两院都顺利通过，但在萨克拉门托（加州首府城市）之外，SB 1047暴露了美国在科技政策潜在方法上的惊人分歧。纽森州长最终未签署该法案，将其退回立法机构。
SB 1047不仅与以往的联邦层面，而且与州级层面尝试在美国监管AI的做法大相径庭。该法案将对高级AI模型开发者提出几项新颖要求，包括强制性的第三方合规审计、实施全面停机功能（“终止开关”），以及将监管标准扩展至科技公司（包括开源开发者）。关键科技利益相关方对这些新要求表示反对。与此同时，其他人则对这些他们认为是急需的限制措施表示支持。然而，关于SB 1047的争论并非简单的行业与立法者之间的对立。在每个类别内部，都存在截然不同的观点。分歧点包括监管在创新中的作用；监管的适当位置（在技术层面还是应用层面，以及某些领域是否比其他领域风险更高）；开发者对发布软件的义务和责任；以及在对未来影响尚不清楚的情况下，对快速演进的科技进行监管所需的实证证据。
该法案的支持者包括OpenAI、谷歌的DeepMind、Anthropic、Meta等公司现任和前任的100多名员工。著名的计算机科学家和AI“末日论者”约书亚·本吉奥（Yosha Bengio）和新晋诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton），他们一直在大声疾呼AI的存在性或灾难性风险，也公开支持该法案的通过。与AI安全最相关的AI研究实验室Anthropic最初并不支持该法案的初稿，因为它“存在重大缺陷，损害了其[AI技术]安全方面，并可能削弱美国在AI开发方面的竞争优势”。但在进一步修订后，Anthropic认为最终法案的总收益超过了总成本。甚至好莱坞也表达了支持——特别是美国演员工会-美国电视和广播艺术家联合会（SAG-AFTRA）。也许最令人惊讶的是，埃隆·马斯克（xAI等多家企业的首席执行官）——这位以不喜欢政府而著称的人物——在推特上表达了对该法案的支持，称这是一个“艰难的决定”。
在战场的对立面，同样站着著名的AI研究人员，如扬·勒丘恩（Yann LeCun）、李飞飞（Fei-Fei Li）和吴恩达（Andrew Ng），他们认为该法案将扼杀创新。由加州大学AI领域的知名教授和研究生撰写的一封公开信称，该法案将带来“广泛的负面影响，阻碍经济活力，削弱加州作为全球AI中心的地位，只为可疑的、非科学的和假设性的公共利益服务”。自然，大多数行业参与者都坚决反对。OpenAI和Meta的高管发表了反对该法案的公开声明。风险投资公司Andreessen Horowitz（a16z）也强烈批评了这项立法。也许这个阵营中最大的惊喜是几位著名的加州联邦议员，如湾区籍国会众议员南希·佩洛西（Nancy Pelosi）和佐伊·洛夫格伦（Zoe Lofgren）。
关于SB 1047的辩论与围绕欧盟AI法案实施的类似公共讨论相呼应。例如，Meta发起了一场广泛运动，要求“监管确定性”，并反对欧盟的监管策略，称由于对数据使用类型的清晰度缺乏，欧盟将“错过”AI创新的益处。在这两个阵线上，共同的主张是这些监管措施在技术的生命周期中过于超前，因此将阻碍技术革命前夕的创新。
尽管存在这些共同的批评，但欧盟AI法案和SB 1047反映了不同的监管方法。本文旨在分析这两个立法框架的异同，并评估针对它们的批评。
一、SB1047法案和欧盟AI法案的关键特征
A. 范围
欧盟AI法案的范围，如其第2条所规定，特别广泛。AI法案涵盖在欧盟境内销售或投入使用的AI系统或模型的提供商，无论他们是否在欧盟境内设立或位于欧盟境内。“部署者”是指在其权限下使用AI系统的实体，如果他们在欧盟境内设立或位于欧盟境内，或者如果AI系统产生的输出在欧盟境内使用，则也属于法案的管辖范围。
SB 1047的范围较窄，旨在仅监管最强大的AI模型。具体而言，它针对的是使用超过1025次整数运算或浮点运算的计算能力，且训练成本超过1000万美元。此外，SB 1047特别针对开发者（即最初训练或微调受监管模型的公司），而AI法案则针对AI系统的用户或部署者。
然而，与欧盟AI法案一样，SB 1047具有广泛的地域范围。它旨在适用于任何使受监管模型在加州可供使用的开发者，无论这些开发者是否位于加州，或这些模型是否在加州开发、训练或提供。这种方法与州法律通常不适用于州界之外的假设形成了对比。因此，该法案将监管所有主要AI公司——如OpenAI、谷歌和Anthropic——这些公司在加州提供强大的模型。
B. 开发者的义务
欧盟AI法案为AI提供商和部署者设定了一系列义务，这些义务根据其提供的AI模型或系统的类型量身定制。[4]提供“通用人工智能”（GPAI）模型的提供商必须遵守特定义务，而那些提供被归类为“系统性风险”的GPAI模型的提供商则面临更严格的要求。系统性风险通用模型被初步定义为使用超过10^25次FLOPs计算能力训练的模型，基于欧盟起草者的假设，即此类模型具有“高影响力能力”。其他义务针对AI系统，并取决于AI系统的风险分类：高风险、“透明度”风险或低风险。虽然“透明度”风险AI系统主要包括生成式AI工具，但高风险AI系统则根据其应用进行分类。具体而言，当它们在医疗保健或员工招聘等敏感部门使用时，被视为高风险。AI法案还包括一份被视为风险过高的AI系统清单，这些系统被完全禁止。
尽管SB1047对强大AI模型的开发者施加了一定义务，这些义务偶尔与欧盟AI法案中的义务相呼应，但其背后的基本原理是不同的，主要侧重于防止“严重危害”。
在训练前尽到合理注意义务，并禁止使用或提供不安全的模型
SB 1047引入了一项义务，要求受监管模型的开发者尽到合理注意义务，以降低其模型可能造成或“实质性促成”的“严重危害”的风险。“严重危害”被定义为模型能够创建或使用大规模杀伤性武器（如化学、生物、辐射或核武器）导致大量伤亡的情况；或模型被用于针对关键基础设施进行网络攻击，造成5亿美元损失或大量伤亡的情况；或模型在有限人类监督下行动，并以如果由人类实施则构成犯罪的方式造成死亡、身体伤害或财产损失的情况。[5]该法案明确禁止部署存在“不合理风险”可能导致或实质性促成“严重危害”的模型。[6]通过明确建立防止造成或“实质性促成”严重危害的注意义务，SB 1047似乎增加了开发者的责任。特别是，它通过要求开发者尽可能确保模型的行为和危害能够准确且可靠地归咎于他们，从而促进了因果关系的归因。[7]
相比之下，AI法案引入了可能导致不遵守制裁的新义务，但并未具体修改民事责任法的一般原则，这些原则仍主要由成员国管辖。然而，最近修订的《欧洲缺陷产品责任指令》明确将AI系统归类为可能被视为有缺陷的产品，这影响了AI提供商的责任，但仅限于对私人个体造成的一系列有限伤害：死亡或人身伤害、医学上公认的心理伤害、数据破坏或损坏，或对任何财产的损害。
在欧盟层面，AI提供商责任的主要改革在于即将出台的《欧洲人工智能责任指令》，该指令目前正在紧锣密鼓地谈判中。该指令的原始提案规定，在违反“欧盟或国家法律规定的注意义务”且“直接旨在防止发生的损害”的情况下，AI开发者或部署者可能承担责任。该提案还规定，在某些条件下，如被告的过错已被确定，或合理可能认为该过错影响了AI系统的输出或缺乏输出时，国家法院应推定被告的过错与AI系统的任何有害输出（或缺乏输出）之间存在因果关系。尽管这些条款的起草相对宽泛，但它们将责任限制在违反防止特定危害的“注意义务”的实例中。此外，与SB1047不同，因果关系的推定似乎并未将开发者责任延伸至其模型仅促成危害的情况。因此，开发者不应因用户为有害目的微调模型而造成的损害承担责任。
实施旨在防止受监管模型造成“严重危害”的控制措施
SB 1047规定，开发者应实施适当的保障措施。[8]具体而言，在开始最初训练受监管模型之前，开发者必须：
实施“终止开关”或停机功能。开发者必须实施一种手段，以“迅速启动全面停机”其控制下的所有受监管模型及受监管模型衍生物。[9]类似地，欧盟AI法案第14条（4）（e）款规定，高风险AI系统必须以允许人类干预其运行的方式交付给部署者。这包括使用“停止”按钮或类似机制安全地使系统停止运行的能力。
实施网络安全保护。SB 1047要求开发者实施全面的安全和保障措施，以保护模型的训练过程。具体而言，开发者必须实施“合理的行政、技术和物理网络安全保护”，以防止未经授权的访问、滥用或“不安全的训练后修改”其控制下的模型。这些安全措施必须记录在案，并可根据模型类型所呈现的风险进行分级。[10]类似地，AI法案第15条规定，高风险AI系统“应设计和开发为达到适当的准确性、稳健性和网络安全水平，并在其生命周期内始终如一地保持这些方面的性能”。此外，AI法案第55条要求具有系统风险的GPAI模型提供商确保模型及其物理基础设施达到足够的网络安全保护水平。
制定安全和保障协议（SSP）。该文件应详细说明开发者为履行其尽到合理注意义务而应实施的措施，如测试程序或在何种情况下开发者将启动模型的全面停机。[11]AI法案规定，高风险AI系统的提供商必须创建并以书面形式记录质量管理体系，包括书面政策、程序和说明。该体系可能包括监管合规策略、技术规格、数据管理系统和程序，或上市后监测系统的详细信息等其他要素。
测试、评估、报告和审计义务
测试和评估。SB 1047规定，在使用模型或使其公开可用之前，开发者必须评估模型是否有可能造成严重危害，并记录并保留这些评估的测试结果，以便第三方能够复制这些测试。根据AI法案，高风险AI系统的提供商必须根据第9条建立风险管理体系。该体系必须识别和分析已知和合理可预见的健康、安全或基本权利风险，并估计和评估在合理可预见的误用条件下可能产生的风险。此外，第55条要求具有系统风险的GPAI模型提供商评估和减轻潜在的系统性风险，并进行模型评估。
合规声明和第三方审计。SB 1047要求开发者向总检察长提交年度合规声明。[12]此外，从2026年开始，所有受监管模型的开发者都必须接受独立的第三方年度审计，以确保遵守SB 1047的规定。这些审计报告必须在模型商业或公开使用期间以及之后额外五年内保留。开发者必须公布其审计报告的删节副本，并在总检察长要求时提供未删节副本。虽然欧盟AI法案的实施法案可能要求第三方参与，但该法案通常不强制要求第三方审计，除非在特定情况下明确要求第三方符合性评估。在部署高风险AI系统之前，提供商必须进行符合性评估，该评估可以由提供商自己进行，也可以由称为“公告机构”的认可独立评估员进行。尽管仅在特定情况下（如生物识别系统）强制要求第三方评估，但提供商在其他情况下被允许自我认证符合性，使使用独立第三方成为可选项。
事故报告。开发者必须在发现安全事故后72小时内向总检察长报告。[13]AI安全事故被定义为“明显增加发生严重危害风险”的事故，必须在发现事故或发现“足以建立合理信念”认为事故已发生的事实后72小时内报告。AI安全事故将包括：（1）模型自主进行非用户请求的行为；（2）模型权重的盗窃、挪用、恶意使用、意外泄露、未经授权的访问或逃逸；（3）技术或行政控制的关键故障，包括限制修改模型能力的控制；（4）未经授权使用模型造成或实质性促成严重危害。[14]类似地，欧盟AI法案要求高风险AI系统的提供商实施严重事故报告系统。具有系统风险的GPAI模型提供商还必须报告严重事故，并列出可能的纠正措施以应对这些事故。
总体而言，SB 1047中的许多要求与AI法案中的要求相呼应。然而，SB 1047省略了AI法案中重要的透明度和披露义务，这可能是因为其主要目标是降低危害风险。
C. 制裁
SB 1047规定，执法将仅由总检察长进行，不包括私人诉权。处罚可能很严重，开发者可能面临暂停其AI模型的商业或公开使用，直到他们能够证明完全遵守法案的安全和保障协议。罚款可能高达用于训练受监管AI模型的计算能力成本的10%，对于后续违规行为，罚款将增加至30%。最后，总检察长可对造成死亡或身体伤害、财产损害、盗窃或挪用，或即将发生的公共安全风险的违规行为提起民事诉讼。总检察长可寻求民事处罚、金钱损害赔偿（包括惩罚性赔偿）、禁令或宣告式救济。对某些违规行为的民事处罚上限为用于训练受监管模型的计算能力成本的10%。
AI法案也对不遵守行为施加了巨额罚款，最高可达1500万欧元或前一年全球年度总收入的3%。然而，它并未明确授权暂停AI系统的使用，尽管国家法律可能引入此类措施。
二、对人工智能监管的批评
S.B. 1047遭遇了许多批评，这些批评在Y Combinator（YC）、Andreeson Horowitz（a16z）和OpenAI致参议员维纳的信中得到了最好的体现。这些批评可以归纳为几个方面，其中一些与针对《欧洲人工智能法案》（AI Act）的批评相呼应。
S.B. 1047基于假设性、推测性的风险
反对者认为，S.B. 1047是基于对人工智能相关风险的未经证实的假设，并指出科学界对于语言模型或“前沿”人工智能系统是否以及以何种方式威胁公共安全尚无共识。他们质疑语言模型是否真的比现有的资源（如搜索引擎）更能为恶意行为者提供帮助。此外，人工智能可能带来的“存在性”或“灾难性”风险仍然是科学界持续讨论的话题，目前还没有得出这些是否是最显著风险的明确结论。与此同时，人工智能已知的其他危害（如深度伪造、错误信息和歧视）已经实际出现，但这项法案却聚焦于最假设性、推测性的风险。
《欧洲人工智能法案》并未直接受到同样的批评，因为它没有专门针对“存在性”风险，尽管它列出了人工智能使用被归类为“高风险”的敏感领域，并要求评估和减轻“系统性风险”。然而，马克·扎克伯格和丹尼尔·埃克对欧洲的人工智能监管方式提出了批评，他们表示：“对已知危害进行监管是必要的，但对开源人工智能等新兴技术可能带来的理论危害进行预先监管将扼杀创新。”
S.B. 1047可能增加开发者责任
批评者认为，S.B. 1047引入了模型开发方面的责任风险，这与现有的法律原则存在显著偏离。然而，参议员维纳对此持不同意见，他指出，在大多数州，如果人工智能开发者开发的模型造成或促成伤害，他们本已可以根据现有的侵权法面临诉讼。[15]维纳甚至强调，S.B. 1047的责任条款实际上比现有法律更窄，因为该法案并没有创设私人诉权——只有总检察长才能对违规行为提起诉讼，而且即使是在开发者未进行安全评估或减轻灾难性风险，并且灾难随后发生时才能提起。
然而，重要的是要注意，目前法律中并未承认人工智能开发者负有谨慎义务——这种义务可能使他们因模型使用过程中的过失而承担责任——也没有任何法院裁定存在此类义务。即使存在这样的义务，在没有这项法案的情况下，也没有关于安全实践的既定或统一的行业标准来证实这种义务。因此，通过将这种义务编入法律，S.B. 1047至少会确认现有的或创设一种新的法律责任，而这种责任在任何法规或案例中尚未得到承认。此外，该法案旨在让开发者不仅对模型造成的关键性伤害负责，还要对他们“实质性促成”的伤害负责，这将扩大传统过失法中的因果关系要求。另外，该法案对开发者施加的侵权责任通常会违反代码作为受第一修正案保护的言论所享有的绝对保护——尽管这种保护并非绝对。
在欧洲，《人工智能责任指令》提案也面临批评，可能无法通过。几个欧盟国家，尤其是法国，对该指令与现有国家法律之间的冲突、与《产品责任指令》的重叠以及该指令的复杂性和与《人工智能法案》的不一致表示担忧，所有这些都可能导致法律上的不确定性。
S.B. 1047将对创新产生不利影响，尤其会阻碍开放模型的发展
S.B. 1047的批评者认为，该法案昂贵合规要求、安全审计、报告要求以及强制的网络安全措施将带来高昂的成本，可能迫使各类开发者离开加利福尼亚州，去寻找更友好的环境。他们还指责这些要求对开放模型开发者来说尤其昂贵。虽然开发模型的商业实体可能能够通过收入来抵消这些成本，但这种负担对于爱好者、非营利组织、小型企业和学术机构来说要沉重得多，因为这些机构经常修改和发布免费的开源软件。因此，该法案的规定可能会阻碍开源模型和开放权重的发布——即使没有明确禁止。由于该法案没有提供开放模型的豁免，因此可能会给那些可能无法承担这些费用的主体带来沉重的财务负担。
在最近为欧盟委员会撰写的报告中，意大利前总理、欧洲央行前行长马里奥·德拉吉指出，“欧盟对科技公司的监管立场阻碍了创新”，并指出欧盟的监管环境过度分散和复杂，“约有100项针对科技的法律和超过270个在数字网络领域活跃的监管机构”。他批评欧盟的“预防性原则”，该原则要求“事先规定特定的商业做法以避免事后可能出现的风险”。例如，“《欧洲人工智能法案》对通用人工智能模型施加了额外的监管要求，这些模型的计算能力超过了预设的阈值——而一些最先进的模型已经达到了这一阈值。”德拉吉还指出，监管繁文缛节带来了巨大的合规成本。例如，“对数据存储和处理的限制增加了高昂的合规成本，并阻碍了为训练人工智能模型而创建大型、综合数据集”，从而使欧盟公司处于不利地位。总体而言，德拉吉建议简化监管，他认为欧盟分散的法律环境是技术创新的一大障碍。他总结道，“减轻公司的监管负担至关重要。超过60%的欧盟公司认为监管是投资的障碍，55%的中小企业表示监管障碍和行政负担是他们面临的最大挑战。”
三、加利福尼亚州最终会监管人工智能吗？
州长纽森否决了S.B. 1047，但他并没有停止签署其他几项与人工智能相关的法案。这些法案涉及深度伪造裸照、名人人工智能克隆、政治深度伪造以及人工智能水印等问题。例如，9月通过了三项针对深度伪造的法律，特别是那些在选举背景下使用的深度伪造。其中一项法律，A.B. 2655（《加州捍卫民主免受深度伪造欺骗法案》）要求拥有超过100万加州用户的在线平台删除或标记与选举相关的欺骗性和数字篡改的深度伪造内容。A.B. 2355要求人工智能生成的政治广告具有透明度。A.B. 2839针对的是发布或分享可能误导选民关于即将举行的选举的人工智能深度伪造内容的社交媒体用户。其他法律要求对人工智能生成的内容进行水印和标记。例如，S.B. 942要求广泛使用的生成式人工智能系统为人工智能生成的内容添加水印。S.B. 926规定，创建和分发意图给真人造成严重情感困扰的逼真色情图像是违法的。
更重要的是，州长纽森签署了《加州人工智能训练数据透明法案》（A.B. 2013），该法案要求生成式人工智能开发者公开发布关于用于训练其生成式人工智能系统或服务的数据的具体文档。自2026年1月1日起，对于2022年1月1日后发布的任何新的或显著更新的生成式人工智能系统，生成式人工智能开发者必须在其公共网站上发布这份文档。文档必须包括训练数据集的来源或所有者、数据集是否包含任何版权、商标或专利数据、是否完全属于公共领域，以及生成式人工智能系统或服务在开发过程中是否使用合成数据生成等信息。在这方面，加利福尼亚州与欧盟《人工智能法案》保持一致，该法案也要求通用人工智能模型的提供者提供此类透明度。
最后，纽森并没有排除实施针对高级模型的更广泛监管的可能性。他在否决声明中承认，加利福尼亚州“不能等到发生重大灾难后才采取行动保护公众”。州长承诺将与立法者、学术界和其他合作伙伴合作，“找到适当的前进道路，包括立法和监管”，并表示：“必须采用安全协议。应实施主动防护措施，并对不良行为者制定明确且可执行的严厉后果。”S.B. 1047的作者、参议员斯科特·维纳在指责批评者散布错误信息后，表示他愿意合作起草新的法案。
原文作者：
Florence G'sell，斯坦福网络政策中心访问教授，负责该中心新兴技术治理项目。
Ashok Ayar ，斯坦福网络政策中心新兴技术治理项目的研究员。
Zeke Gillman，斯坦福网络政策中心新兴技术治理项目的研究助理。
