除了科幻电影，人工智能系统杀人或被用于网络攻击的先例尚无先例。然而，一些立法者希望在坏人将这种反乌托邦的未来变成现实之前实施保障措施。加州的一项法案（称为 SB 1047）试图在现实世界中阻止人工智能系统造成的灾难，该法案将于 8 月下旬在该州参议院进行最终投票。
虽然这似乎是我们都能达成一致的目标，但 SB 1047 却引起了硅谷大大小小的参与者的愤怒，包括风险投资家、大型科技贸易集团、研究人员和初创公司创始人。目前，美国各地都在讨论许多人工智能法案，但加州的《前沿人工智能模型安全创新法案》已成为最具争议的法案之一。原因如下。
SB 1047 起什么作用？
SB 1047 试图防止大型人工智能模型被用于对人类造成“严重伤害”。
该法案列举了“严重危害”的例子，例如，不良行为者使用人工智能模型制造武器，造成大量人员伤亡，或指示人工智能模型策划网络攻击，造成超过 5 亿美元的损失（相比之下，CrowdStrike 故障估计造成的损失高达50 亿美元）。该法案要求开发者（即开发模型的公司）实施足够的安全协议，以防止此类后果。
哪些车型和公司受这些规则约束？
SB 1047 的规则只适用于世界上最大的 AI 模型：成本至少为 1 亿美元，训练期间使用 10^26 FLOPS 的模型——这是巨大的计算量，但 OpenAI 首席执行官 Sam Altman 表示，GPT-4 的训练成本大约是这么多。这些门槛可以根据需要提高。
目前，很少有公司开发出足够大的公共 AI 产品来满足这些要求，但 OpenAI、谷歌和微软等科技巨头可能很快就会这样做。AI 模型（本质上是识别和预测数据模式的大型统计引擎）通常随着规模的扩大而变得更加准确，许多人预计这一趋势将持续下去。马克·扎克伯格最近表示，下一代 Meta 的 Llama 将需要 10 倍以上的计算能力，这将使其受到 SB 1047 的管辖。
对于开源模型及其衍生品，该法案规定，一旦另一方花费 2500 万美元进行开发或微调，他们将对该衍生模型负责，而不是原始开发者。
该法案还要求制定安全协议，以防止滥用所涵盖的人工智能产品，包括关闭整个人工智能模型的“紧急停止”按钮。开发人员还必须创建测试程序来应对人工智能模型带来的风险，并且必须每年聘请第三方审计师来评估他们的人工智能安全实践。
结果必须是“合理保证”，即遵循这些协议将防止发生严重伤害——而不是绝对的确定性，这当然是不可能提供的。
谁来执行？如何执行？
加州新成立的机构 Frontier Model Division (FMD) 将负责监督这些规则。每个符合 SB 1047 门槛的新公共 AI 模型都必须单独认证，并提供其安全协议的书面副本。
FMD 将由一个由五人组成的董事会管理，其中包括来自人工智能行业、开源社区和学术界的代表，由加州州长和立法机构任命。该委员会将就可能违反 SB 1047 的行为向加州司法部长提供建议，并向人工智能模型开发者发布安全实践指导。
开发商的首席技术官必须向 FMD 提交年度认证，评估其 AI 模型的潜在风险、其安全协议的有效性以及公司如何遵守 SB 1047 的描述。与违规通知类似，如果发生“AI 安全事件”，开发商必须在了解事件后 72 小时内向 FMD 报告。
如果开发者未能遵守任何这些规定，SB 1047 允许加州总检察长对开发者提起民事诉讼。对于一个花费 1 亿美元训练的模型，第一次违规的罚款可能高达 1000 万美元，后续违规的罚款高达 3000 万美元。随着 AI 模型变得越来越昂贵，罚款率也会随之增加。
最后，该法案还规定，如果员工试图向加州总检察长披露有关不安全的人工智能模型的信息，则将为员工提供举报人保护。
支持者怎么说？
加州参议员斯科特·维纳 (Scott Wiener) 是该法案的起草人，他代表旧金山向 TechCrunch 表示，SB 1047 旨在吸取过去社交媒体和数据隐私政策失败的教训，在为时已晚之前保护公民的安全。
“我们对待科技的态度是，等待危害发生，然后束手无策，”维纳说。“我们不要等着坏事发生。我们要抢在它之前采取行动。”
即使一家公司在德克萨斯州或法国训练了价值 1 亿美元的模型，只要它在加利福尼亚州开展业务，它就会受到 SB 1047 的保护。维纳表示，国会“在过去 25 年里几乎没有制定任何有关技术的立法”，因此他认为加利福尼亚州应该在这里开创先例。
当被问及是否就 SB 1047 与 OpenAI 和 Meta 会面时，维纳说“我们已经与所有大型实验室会面了。”
两位有时被称为“人工智能教父”的人工智能研究人员杰弗里·辛顿 (Geoffrey Hinton) 和约书亚·本吉奥 (Yoshua Bengio) 都支持这项法案。这两位都属于人工智能社区的一个派系，他们担心人工智能技术可能造成的危险、世界末日的情景。这些“人工智能末日论者”在研究界已经存在了一段时间，SB 1047 可能会将他们偏爱的一些保障措施编入法律。另一个赞助 SB 1047 的组织，人工智能安全中心，在 2023 年 5 月写了一封公开信，呼吁世界将“减轻人工智能灭绝的风险”作为优先事项，就像流行病或核战争一样严肃对待。
人工智能安全中心主任 Dan Hendrycks 在给 TechCrunch 的一封电子邮件中表示：“这符合加州乃至美国产业的长期利益，因为重大安全事故可能是进一步发展的最大障碍。”
最近，亨德里克的动机也受到了质疑。据一份新闻稿称，今年 7 月，他公开成立了一家名为 Gray Swan 的初创公司，该公司开发“帮助公司评估其 AI 系统风险的工具” 。有批评人士称，如果该法案获得通过，亨德里克的初创公司可能会从中获益，成为 SB 1047 要求开发商聘请的审计师之一，因此他剥离了在 Gray Swan的股权。
“我撤资是为了发出一个明确的信号，”亨德里克在给 TechCrunch 的电子邮件中表示。“如果反对常识性人工智能安全的亿万富翁风险投资家想表明他们的动机是纯粹的，那就让他们效仿吧。”
反对者怎么说？
越来越多的硅谷人士反对 SB 1047 法案。
Hendrycks 所说的“亿万富翁风险投资反对者”可能指的是 Marc Andreessen 和 Ben Horowitz 创立的风险投资公司 a16z，该公司强烈反对 SB 1047。8 月初，该风险投资公司的首席法律官 Jaikumar Ramaswamy 向参议员维纳提交了一封信，声称该法案“将因其任意且不断变化的门槛而给初创企业带来负担”，对人工智能生态系统产生了寒蝉效应。随着人工智能技术的进步，其成本将越来越高，这意味着更多的初创公司将突破 1 亿美元的门槛，并将受到 SB 1047 的保护；a16z 表示，他们的几家初创公司已经获得了这么多的资金用于训练模型。
经常被称为人工智能教母的李飞飞在 8 月初打破了对 SB 1047 的沉默，她在《财富》杂志的专栏中写道，该法案将“损害我们刚刚起步的人工智能生态系统”。李飞飞是斯坦福大学备受推崇的人工智能研究先驱，据报道，她还于 4 月创建了一家名为 World Labs 的人工智能初创公司，估值 10 亿美元，由 a16z 提供支持。
她与斯坦福大学研究员吴恩达等有影响力的人工智能学者站在一起，吴恩达在 7 月的 Y Combinator 活动演讲中称该法案是“对开源的攻击”。开源模型可能会给其创建者带来额外的风险，因为与任何开放软件一样，它们更容易被修改并部署到任意和潜在的恶意目的。
Meta 首席人工智能科学家 Yann LeCun 在X 上的一篇文章中表示，SB 1047 将损害研究工作，并且是基于“少数妄想智囊团推动的‘生存风险’幻觉” 。Meta 的 Llama LLM 是开源 LLM 的典型例子之一。
初创公司也对这项法案不满。人工智能初创公司 Omniscience 的首席执行官兼旧金山人工智能初创公司中心 AGI House SF 的创始人杰里米·尼克松 (Jeremy Nixon) 担心 SB 1047 会摧毁他的生态系统。他认为，应该惩罚造成严重损害的坏人，而不是公开开发和分发该技术的人工智能实验室。
“法案的核心内容让人很困惑，LLM 的危险能力水平可能会有所不同，”尼克松说。“在我看来，所有型号都具有法案定义的危险能力，这是很有可能的。”
但该法案直接关注的大型科技公司也对 SB 1047 感到恐慌。代表谷歌、苹果、亚马逊和其他大型科技巨头的贸易组织进步商会 ( Chamber of Progress ) 发表了一封公开信，反对该法案，称 SB 1047 限制了言论自由并“将科技创新赶出了加州”。去年，谷歌首席执行官 Sundar Pichai 和其他科技高管支持联邦对人工智能进行监管的想法。
代表硅谷的美国众议员罗·卡纳周二发表声明 反对 SB 1047 法案。他表示担心该法案“无效，会惩罚个体企业家和小企业，并损害加州的创新精神”。
硅谷传统上不喜欢加州制定如此广泛的科技监管规定。2019 年，当另一项州隐私法案《加州消费者隐私法案》也威胁要改变科技格局时，大型科技公司也打出了类似的牌。硅谷曾游说反对该法案，在该法案生效的几个月前，亚马逊创始人杰夫·贝佐斯和其他 50 名高管写了一封公开信，呼吁制定联邦隐私法案。
接下来会发生什么？
8 月 15 日，SB 1047 将连同获得批准的修正案一起提交加州参议院。维纳表示，这是法案在加州参议院“生死攸关”的时刻。鉴于迄今为止立法者们的压倒性支持，该法案有望获得通过。
7 月底，Anthropic 提交了多项针对 SB 1047 的修订建议，维纳表示，他和加州参议院政策委员会正在积极考虑这些建议。Anthropic 是首家公开表示愿意与维纳合作制定 SB 1047 的先进 AI 模型开发商，尽管它并不支持目前的法案。这在很大程度上被视为该法案的胜利。
Anthropic 提出的修改包括废除 FMD、削弱司法部长在造成伤害之前起诉人工智能开发商的权力，以及废除 SB 1047 中的举报人保护条款。维纳表示，他总体上对这些修正案持积极态度，但在将其添加到法案中之前，需要得到参议院几个政策委员会的批准。
如果 SB 1047 在参议院获得通过，该法案将被送至加州州长加文·纽瑟姆的办公桌，他将在 8 月底之前最终决定是否签署该法案。维纳表示，他尚未与纽瑟姆谈过该法案，也不知道他的立场。
该法案不会立即生效，因为 FMD 将于 2026 年成立。此外，如果该法案获得通过，它很可能在那之前面临法律挑战，也许来自现在正在谈论该法案的一些相同团体。
