图｜从左至右依次为 Stuart Russell、Andrew Yao（姚期智）、Yoshua Bengio、Zhang Ya-Qin（张亚勤）OpenAI 联合创始人、前首席科学家 Ilya Sutskever 的“宫斗”和离职事件，以及欧盟《人工智能法案》正式生效、联合国会员国通过《全球数字契约》等等，已成为人工智能乃至整个科技行业的焦点新闻，不断引发对 AI 监管的广泛需求。“AI 教母”、斯坦福大学首位红杉讲席教授李飞飞则认为，过于武断的 AI 政策将损害学术界和开源社区，“AI 政策必须鼓励创新，设定适当的限制，并减轻这些限制的影响。”当前，相关监管政策在一定程度上鼓励了开源模型在透明度和创新性上的做法，但这也让人不禁担心：能力越来越强的开源模型，会帮助不法分子更容易地“作恶”，危害人身和社会安全。Mistral AI 联合创始人兼首席执行官 Arthur Mensch 在《时代》杂志专访中就曾表示，“开源模型没有任何风险，我只看到了好处。”那么问题来了，相比于闭源模型，开源模型真的更不安全吗？难道开源模型存在的安全问题，闭源模型就没有吗？今天，斯坦福大学基础模型研究中心主任 Percy Liang、研究员 Rishi Bommasani 等 10 位高校学者，在权威科学期刊 Science 上刊文：Considerations for governing open foundation models，详细探讨了开源模型的“三个”优势、“六个”风险和“三个”潜在不利影响。图｜斯坦福大学基础模型研究中心主任 Percy Liang他们表示，开源基础模型在推动科技创新、促进竞争和权力分配方面具有巨大潜力，在透明度和可定制性上相比闭源模型具有优势，但由于模型发布后开发者无法控制其下游使用，容易被恶意用户利用。因此，如何在推动创新的同时，平衡对 AI 系统的监管成为一个关键挑战。他们也提到，不同的政策建议可能会对创新生态系统产生不均衡的影响，并呼吁世界各国制定更明确且有效的政策，平衡开源与闭源基础模型的发展，从而促进创新的同时有效管理其潜在的社会风险。- 没有实证证据表明，开源软件比闭源软件更容易受到攻击或不安全。
- 闭源基础模型可能增大开发者手中的权力，而这种权力集中对数字技术市场的风险是公认的，应当受到更严密的审视。
- 总体而言，开源基础模型更加可定制，并提供更深的访问权限，这些是促进更大创新的关键要素。
- 在某些情况下，透明性不仅依赖于模型权重的发布，还包括其他工件的公开。例如，披露训练数据和代码有助于可重复性。
- 迄今为止，他们尚未发现开源基础模型增加社会对虚假信息宣传敏感性的实证证据。
- 关于开源语言模型的担忧可能被误导，专用的生物设计工具反而可能在发现危险病原体方面提供更大的帮助作用。
- 与之前的自动化漏洞检测工具一样，开源模型的广泛使用，加上公司和政府对发现安全漏洞的工具的投资，可能会加强网络安全。
- 开源基础模型开发者无法控制他们的模型如何被修改或用于生成内容。
- 世界各国政府正在制定的政策设计和实施应当同时考虑开源和闭源基础模型开发者的需求。
学术头条在不改变原文大意的情况下，做了简单的编译。内容如下：GPT-4、Llama 3.1 等基础模型，已成为人工智能（AI）技术创新的核心，吸引了数十亿美元的投资。这引发了对监管的广泛需求。关于如何监管基础模型的辩论，关键在于这些模型的发布方式——是仅向开发者提供，还是完全公开，或者介于两者之间。开源基础模型可以通过促进竞争、加速创新等方式来造福社会。然而，日益增长的担忧是，开源基础模型是否对社会构成独特风险。总的来说，尽管大多数政策提案和法规没有明确提到开源基础模型，它们可能会对开源和闭源基础模型产生不均衡的影响。我们将展示不同政策提案之间的紧张关系，政策制定者应在考虑时注意这些政策可能对开源基础模型创新生态系统产生的不利影响。基础模型的发布方式具有多维性：不同的资产（如训练数据、代码和模型权重）可以向特定实体或公众公开。开发者在模型发布的各个层级上有多种选择。我们使用“开源基础模型”这一术语来指代那些权重广泛可用的基础模型，这在今天通常意味着权重是免费提供的。这与 2023 年美国《安全、可信赖和可靠的人工智能开发与使用执行命令》中所作的区分一致。这只是各国政府对基础模型（包括开源模型）给予关注的一个例子。在欧盟《人工智能法案》（AI Act）下，使用不到 10^25 次浮点操作（计算消耗的一种度量）训练的开源基础模型免于许多要求。英国 AI 安全研究所则将“开源系统以及使用各种访问控制部署的系统”作为优先事项。围绕开源基础模型的许多担忧源于，模型权重一旦发布，开发者便失去了对其下游使用的控制。即使开发者试图限制下游的使用，这些限制也可能被恶意用户无视。相比之下，面对恶意使用，闭源基础模型的开发者可以限制访问。需要强调的是，这种分类区分可能会过于简化模型发布的层级：闭源模型同样容易遭受恶意使用，现有的保护措施可能会被绕过。开源基础模型类似于但不同于开源软件。机器学习模型不仅依赖代码，还依赖数据集，这使得它们与大多数软件有本质上的区别。开源软件倡议的标准定义禁止对特定用户或使用案例施加限制，而开源基础模型通常包含这些限制；例如，Meta 限制拥有超过7亿月活跃用户的实体使用 Llama 3.1 模型，而其他组织则使用具有使用限制的开源和负责 AI 许可。这些差异导致一些人声称，领先的 AI 公司在进行“开源洗白”（openwashing）——提供模型权重但不遵循开源软件的原则。尽管如此，开源软件的历史为如何治理开源基础模型提供了见解。没有实证证据表明，开源软件比闭源软件更容易受到攻击或不安全。同时，开源软件验证了开放技术对社会的巨大好处，例如通过刺激经济效益、支持关键基础设施、促进重用性、鲁棒性、透明性和协作，并通过持续广泛的同行评审来提高可靠性和安全性。开源模型的优势
我们强调了开源基础模型在三大社会目标中提供的明显优势：随着基础模型影响力的不断增长，它们创造了新的社会经济权力形式，因此必须评估这些权力如何分配。闭源模型开发者在定义和限制他们认为不可接受的使用案例方面拥有更大的权力，而开源模型的下游用户可以更好地自行做出这些决策。此外，闭源模型开发者可能通过垂直整合更加直接地影响下游市场，可能导致许多下游产品和/或服务依赖于同一个基础模型的垄断格局。总体而言，闭源基础模型可能增大开发者手中的权力，而这种权力集中对数字技术市场的风险是公认的，应当受到更严密的审视。基础模型是一种通用技术，能够大幅提高创新速度。值得注意的是，基础模型提高了经济和科学生产力，Bloomberg Intelligence 预计生成式 AI 将在 2032 年成为一个 1.3 万亿美元的市场。开源基础模型对于研究若干课题是必要的，如可解释性、水印技术、安全性和效率等。总体而言，开源基础模型更加可定制，并提供更深的访问权限，这些是促进更大创新的关键要素。基础模型等数字技术因其不透明性而受到困扰。开发者提供足够的透明度对于实现许多目标至关重要：民间社会、政府、行业和学术界都呼吁提高透明度。透明性不仅仅在于模型训练和发布的角度，还包括下游细节，比如报告模型的使用情况。基础模型透明度指数显示，主要的开源基础模型开发者相比闭源模型开发者，平均透明度更高。这种透明性可以帮助避免过去因数字技术不透明而造成的危害。在某些情况下，透明性不仅依赖于模型权重的发布，还包括其他工件的公开。例如，披露训练数据和代码有助于可重复性。开源模型的风险
关于开源基础模型风险的政策焦点大多来自于它们可能被恶意使用的潜力。在此，我们探讨了一系列误用威胁载体，以更好地描述每个领域的证据状态。正确表征开源基础模型的独特风险需要聚焦“边际风险”：开源基础模型相较于闭源基础模型或现有技术（如搜索引擎）在多大程度上增加了风险？Kapoor 等人提供了一个分析开源基础模型边际风险的框架。对于许多威胁载体，现有的边际风险证据有限。这并不意味着开源基础模型在这些载体上没有风险，而是需要更严格的分析来证实政策干预的必要性。尽管有人可能会基于预防原则提出监管，但缺乏边际风险的证据表明，在实施大幅加重开源基础模型开发者负担的政策时应谨慎一些。基础模型可能降低生成有说服力的虚假信息的成本。尽管闭源基础模型提供者在鼓励模型拒绝生成虚假信息请求方面具有更好的条件，但“什么是虚假信息”这一问题的模糊性使得这种拒绝的技术可行性受到质疑。更根本的问题是，影响操作的关键瓶颈不在于虚假信息的生成，而在于虚假信息的传播：“廉价仿制品”，如过去事件的视频、经过 Photoshop 处理的图片、发生在另一个背景下的事件，甚至是电子游戏片段，已经被用于传播虚假信息。控制内容传播的在线平台比基础模型开发者更应成为政策干预的目标。迄今为止，我们尚未发现开源基础模型增加社会对虚假信息宣传敏感性的实证证据。有几项研究声称，开源基础模型可以为用户提供如何制造生物武器的指导。然而，证据仍然薄弱。有些研究表明，当今的语言模型可以提供与生物武器相关的“危险”信息，但这些信息在其他来源也同样可以获得。当这些研究将语言模型与互联网访问进行比较时，发现使用语言模型寻找生物武器相关信息并没有显著优势。因此，关于开源语言模型的担忧可能被误导，专用的生物设计工具反而可能在发现危险病原体方面提供更大的帮助作用。除了敏感信息之外，生物风险还需要病原体的合成和在现实世界中的传播。每个步骤都需要大量的专业知识、设备和实验室经验。与其他威胁向量一样，最有效的政策干预点可能在下游。例如，美国的《AI行政命令》旨在加强对生物序列购买者的客户筛选。虽然开源代码模型可能加快和提高网络攻击的速度和质量，但网络防御也会随之改进。例如，谷歌最近展示了代码模型在检测开源软件漏洞方面的显著进步。与之前的自动化漏洞检测工具一样，开源模型的广泛使用，加上公司和政府对发现安全漏洞的工具的投资，可能会加强网络安全。开源模型可以在本地使用和定制（例如，通过微调），允许组织在隐私敏感的环境中使用它们。基础模型可以生成高质量的鱼叉式网络钓鱼邮件，试图诱使受害者提供敏感信息、汇款或下载恶意软件。无论是开源还是闭源模型都可以用于此，因为使鱼叉式网络钓鱼邮件危险的关键因素在于随附的恶意软件；邮件文本本身通常是无害的。与虚假信息类似，鱼叉式网络钓鱼的关键瓶颈通常不是邮件的文本，而是下游的防护措施：现代操作系统、浏览器和电子邮件服务实现了多层次的保护，以防此类恶意软件。由于这些现有的保护措施，钓鱼邮件可能根本无法到达目标接收者。语音克隆诈骗是指恶意用户冒充受害者的朋友或家人，试图说服他们转账。这类诈骗可能依赖基础模型，这些模型可以基于几秒钟的音频（例如，来自社交媒体账户的音频）克隆某人的声音。到目前为止，尚不清楚语音克隆诈骗是否比传统诈骗更有效或更具可扩展性，尤其是每年已经报告了数以万计的传统诈骗案件。目前尚无法确定闭源模型开发者是否能够成功阻止此类诈骗，但他们可以通过要求用户使用信用卡注册、追踪生成的音频回溯至特定用户等措施，提供一定的威慑作用。开源的文本到图像模型可能会带来与 NCII 和 CSAM 相关的独特风险，因为它们降低了生成此类内容的门槛。对于此类问题，闭源模型的安全防护更加有效，且通过监控闭源模型，可以阻止用户生成此类影像，尤其是涉及真实人物的影像。开源文本到图像模型已经被用于生成 NCII 和 CSAM。Thiel 发现，一个用于训练开源文本到图像模型的知名数据集包含大量的 CSAM，这指向了上游干预措施（如过滤训练数据）来降低这种风险。是否对打击 AI 生成的 NCII 和 CSAM 的政策干预更多地针对下游平台（如 Civit AI 和社交媒体公司）仍然是一个未解的问题。专门打击 NCII 和 CSAM 的组织可能会受益于更多资源和支持，以应对 AI 生成的 CSAM。潜在的不利影响
随着各国针对基础模型的政策努力推进，我们探讨了现有政策举措如何影响开源基础模型。具体而言，它们可能对开源基础模型开发者施加更大的合规负担，而这些开发者往往比闭源开发者更缺乏资源，而闭源开发者通常是大型AI公司，这些公司几乎都是闭源开发者。由于开源和闭源基础模型的区分是基于发布模式的，任何对基础模型的某些使用施加处罚的政策可能产生不同的影响。一些提案（如在加利福尼亚州参议院提出的 SB 1047 法案和美国参议院提出的美国 AI 法案框架）对基础模型的下游使用（包括微调后的衍生模型）施加了责任。这些提案旨在引入针对发布不安全模型的处罚，这些模型在潜在修改后可能会催生恶意使用。然而，对于这些下游危害的责任可能会抑制开源基础模型的生态系统，因其暴露了开源基础模型开发者面临的严重责任风险。相比之下，由于闭源基础模型开发者对下游使用有更大的控制力，某些开发者已经为下游用户提供了责任保护（例如，谷歌为其生成式 AI 产品的用户提供版权索赔的免责）。虽然明确或增加下游使用责任可能具有一定的益处，但这些立法提案为开源基础模型开发者揭示了广泛且难以控制的责任面。鉴于基础模型最显著的应用是生成式 AI 系统，社会对内容溯源技术（如水印技术）的需求日益增加，以检测机器生成的内容。内容溯源可以帮助追踪或管理 AI 生成的内容，如深度伪造、CSAM 和 NCII。然而，与责任类似，如果基础模型开发者必须确保下游使用的内容溯源，那么这些要求对开源基础模型开发者来说可能在技术上难以实现。然而，今天的语言模型水印技术在模型被修改（例如微调）后不会继续保留，且需要模型用户遵循某些协议才能保证水印有效。根本上，开源基础模型开发者无法控制他们的模型如何被修改或用于生成内容。尽管基础模型不要求公开用于构建模型的基础数据，但有些开发者选择公开模型权重和训练数据。在 2023 年的基础模型透明度指数评估的 10 个主要基础模型开发者中，两个开发者公开了数据，并同时公开了基础模型。其他一些开源基础模型开发者通常也公开数据。然而，数据的开源发布使这些实体面临更大的责任风险，例如 Stability AI 因使用来自非营利组织大型人工智能开放网络（LAION）的数据集而面临的诉讼，这些数据集据称包含了原告的作品。尽管在许多司法管辖区内，使用受版权保护的数据训练基础模型的合法性尚不明确，但现状导致了不正当的激励机制。即，透明公开数据的开发者比隐藏数据的开发者面临更大的风险，即使底层事实是相同的。考虑到这种不正当激励，在某些情况下，政府强制披露训练数据可能是有益的。世界各国政府正在制定的政策设计和实施应当同时考虑开源和闭源基础模型开发者的需求。政策如果直接涉及开源基础模型，应该仔细考虑如何定义这些模型及其开发者。仅仅以“开放权重”作为政策依据可能并不合适，尤其是考虑到模型发布的不同层次。而且，即使政策并未直接涉及开源基础模型，它们也可能产生负面影响。因此，如果政策制定者希望实施这些政策，他们应该直接咨询开源基础模型社区，并适当考虑其利益。www.science.org/doi/10.1126/science.adp1848
AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。
迄今为止，AI TIME已经邀请了2000多位海内外讲者，举办了逾700场活动，超800万人次观看。
