SB 1047法案是一项由加利福尼亚州提出的法案，主要目的是确保人工智能技术的安全和负责任的发展，特别是针对那些具有潜在重大风险的前沿人工智能模型，这些模型的定义通常是指训练成本超过一定金额（如1亿美元）或使用大量计算资源（如10^26次浮点运算）的AI模型。
然而，该法案在美国的学界与产业界遭受到巨大争议。许多AI公司——苹果、微软、谷歌、Meta、亚马逊、OpenAI——要么直接反对该法案，要么属于反对该法案的组织，比如TechNet。
2024年7月23日，硅谷AI独角兽Anthropic发布信涵，讨论了其对SB 1047法案的立场。Anthropic表示会“在某些修改条件下支持”该法案。
以下是对其信涵的翻译。
//
尊敬的Wicks主席（加利福尼亚州议会拨款委员会主席Buffy Wicks）：
Anthropic是一家位于加利福尼亚州旧金山的AI安全和研究公司。我们构建了世界上一些最强大的AI系统，并向数百万用户部署了它们。我们还进行前沿研究，以理解我们的AI系统的安全性以及如何提高它们的可靠性、可解释性和可控性，并且我们广泛地发布我们的研究成果，以造福更广泛的生态系统。我们还自豪地为美国在AI领域的竞争优势做出贡献，并认为确保其持续创新和领导地位是重要的。我们在加利福尼亚州雇佣了数百人，在其他州、加拿大和英国雇佣了更多的人，我们深切关心制造广泛造福人类和社会的AI技术。
Anthropic对SB 1047的立场：
Anthropic不支持SB 1047的当前形式。然而，我们认为该法案的核心目标——确保AI技术的安全发展是有价值的，并且可以在消除当前法案的大部分重大缺陷的同时实现这些目标，正如我们将在这里提出的。
在这封“如果修改则支持”的信中，我们概述了我们对AI风险的看法，安全措施的可行性，包括法案中概述的那些，以及我们对其当前文本的担忧。我们列出了一系列实质性的变更，如果进行这些变更，将解决我们的多重担忧，并产生一个我们可以支持的精简法案，以利于一个更安全、更值得信赖的AI行业。
具体来说，这包括将法案的范围缩小，专注于前沿AI开发者安全，通过(1)从规定性的预伤害执法转变为激励开发者实施健全的安全和安保协议的威慑模型，(2)减少在没有实际伤害的情况下可能繁重和适得其反的要求，以及(3)删除重复或无关的方面。
保留SB 1047的安全核心：
Anthropic非常认真地对待未来AI系统可能带来的灾难性风险——无论是大规模滥用AI系统（例如在网络攻击或生物武器生产中）还是AI系统自主以破坏性方式行动的潜力。尽管当前的AI系统在大多数情况下还不具备这样的能力，但能力趋势表明，它们很可能在不久的将来会具备，正如我们的CEO去年在参议院作证时所说。我们不认为私营部门有足够的激励措施来有效管理这些风险，因此我们认为需要监管激励来投资于安全和安保。
在高层次上，SB 1047试图通过要求前沿模型开发者实施所谓的安全和安保协议（"SSPs"）来解决灾难性风险。这些协议在精神上与许多公司自愿采用的框架大致相似，包括Anthropic的责任扩展政策（RSP）、OpenAI的准备框架、Google DeepMind的前沿安全框架和Magic的AGI准备政策，以及包括Anthropic在内的16家全球公司在2024年5月的AI首尔峰会上承诺发布的框架。
这些框架评估每一代AI模型造成灾难性伤害的能力，并在达到风险阈值时呼吁采取加强的安全和安保措施。Anthropic是这类政策的先驱和坚定支持者。我们现在已将我们的RSP应用于两次重大产品发布，并发现它是管理开发越来越有能力的AI系统风险的有效手段，对于有资源训练SB 1047中定义的“覆盖模型”（即训练成本超过1亿美元的模型）的公司来说，也是一个合理的负担。
基于这些经验，Anthropic支持这样一种观点：前沿AI公司应该有某种类似SSP的计划（正如大多数公司已经做的那样），公众应该对这些计划如何运作有透明度和诚实，前沿AI公司应该有激励措施使这些计划真正有效，以防止灾难性风险。我们称这为法案的“安全核心”。
Anthropic提出的框架摘要：
我们认为，迄今为止对该法案的广泛反对在很大程度上可以归因于一些既不属于这个安全核心也不与之相关的条款。我们建议将法案提炼为其安全核心，这样既可以扩大对其的支持，也可以在AI安全方面取得重大进步。鉴于安全核心与领先的AI实验室独立采用的灵活安全框架之间的相似性，我们乐观地认为，通过我们提出的修正案，该法案不会对AI模型开发者造成不当负担，也不会阻碍美国的竞争力。
我们认为，目前SB 1047中的三种条款不属于安全核心（并且可能是繁重的或激化利益相关者的），因此我们认为应该删除或修改它们：
广泛的预先伤害执行。当前法案要求AI公司设计并实施满足特定标准的SSPs——例如，它们必须包括足够的测试，以提供“合理保证”AI系统不会造成灾难，并且必须“考虑”州机构尚未编写的指导。为了执行这些标准，即使没有实际伤害发生，州也可以对AI公司提起诉讼，要求支付大额罚款。虽然这种方法在最佳实践已知的更成熟的行业中可能有意义，但AI安全是一个新兴领域，最佳实践是原始科学研究的主题。例如，尽管我们公司的领导者，包括我们的CEO，付出了巨大努力，在几个月内起草和完善Anthropic的RSP，但在首次产品发布中应用它揭示了许多模糊之处。我们的RSP也是行业中的第一个此类政策，还不到一年。在这样的新环境中，需要的是迭代和实验，而不是规定性执行。法案和州机构可能简单地对什么实际上能有效预防灾难性风险的看法是错误的，导致无效和/或繁重的合规要求。
新的州级机构和权力。实施预先伤害执行反过来需要创建一个新的州级机构（前沿模型部门）和新权力（赋予总检察长和劳工专员），以定义和执行合规标准。这些机构的任务广泛但模糊：在一个技术上复杂、快速发展的领域中定义标准，而这个领域没有建立最佳实践。它们也缺乏开发前沿模型的第一手经验。许多利益相关者合理地担心，这可能会创造一个不可预测的情况，其中前沿模型部门有很大的自由度，并且，根据其观点或政治议程，最终可能不仅损害前沿模型开发者，而且损害创业生态系统或独立开发者，或阻碍创新。
对减少灾难性风险没有重大好处的规定。这些包括定价规定、与法案核心安全目标无关的劳动法规定，以及云服务提供商的客户数据收集要求，这些要求与现有的联邦要求重复。
我们认为，前两个问题可以通过专注于威慑而不是预先伤害执行来解决：与其决定公司应采取什么措施来预防灾难（这些仍然是假定的，并且生态系统仍在迭代以确定最佳实践），不如将法案集中在对造成实际灾难的公司负责。
这种威慑方法有几个优点。它直接激励公司预防灾难，并利用开发者对其快速发展的技术的专业知识和经验见解，允许比静态法规可能提供的更灵活和知情的风险管理策略。它消除了对新州级机构和规则制定的需求，解决了当前法案的大部分模糊性和复杂性。最后，它应该吸引对灾难性风险持诚实怀疑态度的人，他们可以选择不减轻他们不相信的风险（尽管他们这样做是自担风险）。
我们提出的框架如下：
1. 训练成本超过1亿美元的模型的公司应该被要求建立并发布一个SSP，但州不应该规定或执行其中的内容——公司应该自由迭代和学习。最佳实践将随着这个过程逐渐出现。
2. 预先伤害执行仅限于诚实和透明度：确保公司发布它们的SSP并且不夸大它们对它的遵守。
3. 然而，如果实际发生了灾难性事件，并且公司的SSP没有达到最佳实践或相关标准，在实质上促成了灾难，那么开发者也应该分担责任，即使灾难部分是由下游行为者引发的。
第三点是提案的核心，也是AI与其他技术不同的关键方式之一。如果恐怖分子使用笔记本电脑计划和执行大规模攻击，法院（正确地）不会追究笔记本电脑制造商的责任，因为制造商实际上无法防止这种滥用。但这是我们的核心论点之一，即AI系统是智能的，原则上可以被训练以避免参与破坏性行为或被用于破坏性行为。这意味着训练模型的人有责任调查潜在的灾难性下游用途，并采取合理措施防止这种用途。因此，该法案可以被视为主要是加强和澄清现有的侵权法，以专注于非常强大的AI系统的这种不寻常方面。SSP的可以被视为公共文物，记录公司关于合理注意标准的看法，并随着真正威胁的明确而发展。
对法案的详细修改清单
为了实施上述威慑愿景，并将法案缩减至其安全核心，我们提出以下具体变更：
极大地缩小预先伤害执行的范围，仅关注(a)未开发、发布或实施SSP（内容由公司决定）；(b)公司对SSP作出实质性虚假陈述；(c)对公共安全的迫在眉睫的灾难性风险。
引入一项条款，规定如果发生灾难性事件（继续被定义为大规模伤亡或超过5亿美元的损害），公司SSP的质量应该是确定开发者是否行使了“合理注意”的因素。这实施了威慑的概念：公司在制定SSP方面有很大的自由度，但如果灾难以与公司SSP中的缺陷有关的方式发生，那么该公司更有可能对其负责。
取消Frontier Model Division（第11547.6节）。随着预先伤害执行的严格限制，不再对标准作出规定，FMD不再需要。这大大减少了法案解释上的模糊性风险，并使其效果更客观和可预测。作为没有FMD的替代，授权政府运营机构通过通知和评论程序提高覆盖模型的阈值（最初为10^26 FLOPS和>1亿美元），以便随着我们对大型模型的风险和安全特性的了解加深，进一步缩小覆盖模型的范围。
取消第22605节（计算和AI模型的统一定价），这与预防灾难性风险的主要目标无关。它可能对AI和云计算领域的市场动态产生意想不到的后果。
取消第22604节（大型云计算购买的客户了解），这与现有联邦要求重复，并且不在开发者安全的范围之内。
将第22607节的范围缩小，专注于与公司SSP的虚假陈述或不遵守有关的员工举报。举报者保护是有意义的，并且在联邦和州法律中很常见，但是起草的语言太宽泛，可能会导致虚假的“举报”泄露IP或因与灾难风险无关或非常牵强的原因而破坏公司。关于SSP的虚假陈述是我们提案中积极执行的领域，因此，举报者保护集中于此是合乎逻辑的，以协助执行。
我们还呼吁进行一些较小的变更，例如：
降低对完全精确和独立可复制测试程序的期望。我们的经验是，像SSP这样的政策是湿粘土，公司仍在快速学习和迭代它们——如果我们现在过于规定性，我们就有可能“将行业锁定”在长期内的不良实践。由于前沿模型训练可能持续几个月，要求全面并可复制地说明在启动为期几个月的训练运行之前将运行的所有预部署测试的细节也是不切实际的。
移除可能的陷阱，即现有法案文本可能被解释为在模型测试之前阻止外部测试模型。
移除不是必须的刑事处罚或法律术语，如“伪证”，这些不是实现立法主要目标所必需的。
修改“严重伤害”的定义，澄清符合美国国家安全目标的军事或情报行动被排除在外，并删除模糊的笼统严重伤害条款。这防止了公司因授权的政府使用武力而承担责任。关于AI用于军事和情报目标的使用有辩论的余地。然而，我们认为，联邦一级，即负责外交和国防政策的地方，而不是州政府，是进行此类辩论的更适当的论坛。
要求覆盖模型（>1亿美元）的开发者发布SSP的公共版本，适当编辑，并保留副本五年，而不是向FMD提交SSP（以及各种其他文件）（正如我们上面提出的消除）。
移除所有提到“任何承包商或分包商”的举报要求。这似乎包括从数据标记器到食品供应商的一切。我们不认为这项法案应该向如此广泛的企业引入新要求，涵盖数千到潜在的数十万承包商和大型开发商的合同公司员工。法案应该专注于模型开发者的直接雇员。现有的劳动法下的举报者保护只扩展到雇员。
为调整覆盖模型成为新模型设置一个更客观和可预测的阈值：1000万美元或原始模型成本的10%，以较大者为准。在另一个开发者的模型之上进行这种水平的微调是罕见的，因此这一规定将法案的合规要求限制在更大、资源更丰富的公司。尽管如此，责任的语言承认过错可能在生态系统中的参与者之间共享。
用“全面安全”的概念替换模型权重的删除作为补救措施——删除所有权重的副本，除了按照最佳实践一致的高安全标准存储的最少数量。删除是一种极端的补救措施，因为它可能破坏一个需要巨大时间和资源才能创造的资产。全面安全是一种更平衡的方法，允许在不不可逆转地损失宝贵AI资源的情况下采取增强的安全措施。
将报告安全事件的时间从72小时增加到15天。根据我们部署AI模型的经验，72小时的截止期限更有可能分散试图应对潜在事件的人的注意力，而不是提供帮助。
如果修改，我们将支持
有了这些变更，产生的法案将通过上述威慑方法紧密关注减少灾难性风险。它将尊重风险降低实践的不断发展性质，同时最小化僵化、模糊或繁重的规则，保持创新和美国竞争力的动态环境。我们希望这将导致更广泛的利益相关者支持这一大幅修订的SB 1047。
我们承诺，如果我们提出的所有修正案都被采纳，我们将支持该法案。如果最终委员会同意了修正案的一个子集，我们可能会或可能不会支持该法案。我们不会支持当前形式的法案。
我们乐观地认为，如果采纳了所提出的修正案，它将催化创新和风险降低实践的实验时代，公司将置身其中，因此有动力采纳最有可能实际预防灾难性风险的实践。
此致，
Hank Dempsey
地方政策负责人
Anthropic, PBC
抄送：Scott Wiener参议员，加利福尼亚州参议院预算委员会主席
END.
延伸阅读
