1、可操作的摘要
AI/LLM 一直是整个技术领域最热门的话题。在网络安全领域,关于 AI 将在安全方面发挥的作用一直存在争论。从广义上讲,AI 对安全的影响有关键分类。AI for Security 涉及将安全性注入现有安全类别,以增强自动化等领域。第二个是生产中 AI 和模型的安全性。
本报告重点介绍如何保护生成式 AI 模型。我们讨论了企业对 AI 的采用、公司如何保护这些模型,以及该市场的供应商格局。人们必须了解预测性 AI 工作负载和生成式 AI 工作负载之间的区别,因为它们具有不同的预算分配和安全需求。在这种环境中,大多数公司都属于以下领域之一:治理、可观察性或安全性。
2025 年对该行业来说将是重要的一年,因为目前正在 2024 年进行的 AI 实验要么显现,要么没有显现。有了它,我们预计市场将更大,为多个赢家创造空间。如果是后者,那么我们将看到严重的整合。这个市场具有巨大的长期潜力。然而,我们认为该领域正在迅速发展,现在确定明确的市场领导者还为时过早。
目前,供应商选择购买而不是构建。我们还观察到,CISO/CIO 并不是唯一的评估者;我们看到 AI 研究,有时是 CDO 的钱包份额有所增加。对于许多公司来说,ACV 徘徊在 $50K 左右,一直到 $200K 以上的解决方案。
当今最大的问题在于企业如何控制数据进出企业的方式以及员工如何访问数据,无论是 PII 还是工作所需的数据。影子 AI 是真实的。CISO 和团队希望并且需要了解员工正在使用的内容。从长远来看,我们看到安全风险围绕着运行时的模型。
- AI Security 是一个新市场,具有现有网络安全市场的一些历史模式;根据使用情况,市场正在慢慢成熟。回顾企业以前的重大范式转变,云安全的发展见证了多代公司 — 许多早期进入者被收购,第二代公司表现一般。尽管如此,直到第三代,我们才看到了明显的赢家。同样,在 AI 领域,我们预计会看到一系列安全供应商的出现,每家供应商都借鉴了前辈的经验教训。然而,与云不同的是,AI 的快速发展和较低的进入门槛意味着我们可能会看到安全解决方案的演变更加加速,也可能更加混乱。
- 要开始定义人工智能的安全性,必须了解“如何”。人工智能模型的开发、采购和部署方式发生了重大转变,引入了新的风险层。传统上,组织有一个简单的选择:内部构建模型、使用开源模型或依赖第三方托管解决方案。然而,基础模型(可以针对特定任务进行微调的大规模预训练模型)的兴起改变了格局,导致对第三方模型的广泛依赖。这种依赖带来了严重的安全问题。虽然开源模型提供了灵活性并节省了成本,但它们也可能存在隐藏的漏洞。即使采用更安全的格式,在模型架构本身中嵌入恶意代码的可能性仍然是一个重大威胁。
可以说,自从 2022 年 ChatGPT 发布以来,人工智能世界就像坐过山车一样,不会很快停止。在人工智能驱动生产力的承诺推动下,最初的热情已经逐渐平息,但这种势头还远未结束。虽然大多数白领工作保持不变,但围绕人工智能的炒作已经演变,法学硕士和人工智能功能开始融入日常应用中。生成式人工智能不再只是一个流行词,它正在成为我们如何创造、推理以及与技术交互的基本组成部分。如今,人工智能使我们能够生成图像、视频、文本和音频,以以前难以想象的方式补充人类的创造力。更重要的是,人工智能进行多步骤、代理推理的能力使其能够模拟类似人类的决策过程。这一演变标志着一个重大转变,反映了过去二十年科技领域的类似转变——云的兴起。技术的最后一次重大结构性转变是云的出现,它彻底改变了应用程序、商业模式以及人们与技术交互的方式。正如云以新的服务交付模式取代传统软件一样,人工智能现在也准备用软件取代服务——这一变化可能会产生指数级影响。与任何平台转变一样,前几代人吸取的经验教训对于应对当前形势至关重要。云的演变告诉我们,虽然先行者可能奠定了基础,但真正的赢家往往需要几代人的时间才能出现。同样的原则也适用于人工智能。在企业内部部署人工智能/LLM是一种范式转变,类似于云的影响。我们很可能处于早期阶段,人工智能安全领域的最终领导者仍在形成中。随着企业努力做出部署开放与封闭模型的决策,以及新型网络威胁的出现,我们预计人工智能安全的格局将经历多次迭代,然后才能形成最成功的参与者。每一次新的技术变革都会带来创新的双刃剑。虽然人工智能拥有巨大的潜力,但它也为恶意行为者提供了新的机会。发起复杂的、类似民族国家的网络攻击的成本正在直线下降,而人工智能的能力比云技术更能降低攻击者的进入门槛。这一现实强调了对强有力的安全措施的迫切需要,并为网络安全领域的初创公司和老牌公司提供了肥沃的土壤。回顾云安全的演变,我们看到了多代公司——许多早期进入者被收购,第二代公司表现还算不错。尽管如此,直到第三代我们才看到明显的赢家。同样,在人工智能领域,我们预计会看到一系列安全供应商的出现,每个供应商都吸取了前辈的经验教训。然而,与云不同的是,人工智能的快速发展和较低的进入门槛意味着我们可能会看到安全解决方案的更快(甚至可能更混乱)的演变。与云安全的类比可以作为理解人工智能安全潜在轨迹的路线图。正如云基础设施的规模经济导致亚马逊、微软和谷歌等科技巨头占据主导地位一样,我们可能会在人工智能领域看到类似的动态,赢家将是那些能够快速扩展和创新的人。就移动技术而言,早期的创新者(iOS)建立了一个封闭的生态系统,而谷歌迅速跟进,建立了一个开放的生态系统(Android),巩固了市场的其余部分。人工智能安全可能会在封闭式和开放式模型之间出现类似的二分法,市场将围绕最有效的方法进行整合。当我们站在这个新时代的悬崖边时,前景一片黯淡,前进的道路仍在规划中。然而,有一点是明确的:人工智能安全的发展将成为企业如何采用和部署人工智能技术的关键决定因素。正如云安全最终成熟和稳定一样,我们预计人工智能安全也将遵循类似的轨迹——我们将在本报告中深入探讨这一轨迹。人工智能将以多种方式影响安全。两个主要类别是人工智能安全和人工智能安全。人工智能领域的公司分类因来源而异。总的来说,所有公司在这些领域都存在核心相似之处:- 充当网络路径中的代理并检查企业网络流量中的数据的公司
- 位于应用程序层的公司——无论是作为扩展还是作为代码嵌入,都有助于实施数据安全和访问权限策略。
这些解决方案用于跨安全运营和开发人员自动化安全解决方案。虽然这不是我们文章的重点,但我们想强调一下。它包括我们如何在多个领域利用人工智能:- SOC 自动化:利用 AI 提高 SOC 分析师的任务效率。
- AppSec:我们可以使用人工智能来进行更好的代码审查、管理开源或第三方依赖项以及应用程序中的安全性。
- 威胁情报Threat Intelligence:人工智能的改进可以更好地帮助安全团队获取威胁情报,并自动执行渗透测试和异常检测的手动区域。
这是我们文章的重点。它专注于生产环境中的安全人工智能/LLM。重点感谢 Menlo Ventures 团队在此帮助分享我们的知识。总的来说,该领域的许多公司都属于以下类别:- 治理:他们帮助组织构建治理框架、风险管理协议和实施人工智能的政策。
- 可观察性:当这些人工智能模型部署到生产中时,它们会监视、捕获和记录来自这些模型的数据。它们帮助捕获输入和输出以检测滥用并为团队提供全面的可审核性。
- 安全性:他们实现人工智能模型的安全性 - 特别是识别、预防和响应人工智能模型的网络攻击。
10、企业采纳
在深入探讨人工智能安全的作用之前,我们了解企业目前如何部署人工智能至关重要。随着公司采用LLM和 RAG 等技术,Gen AI 的承诺是提高生产力并降低成本。
尽管它做出了承诺,而且领导者也愿意使用人工智能来取得更好的成果,但许多企业仍在研究如何使用它。有些组织比其他组织走得更远,但许多组织仍处于实验模式——在大规模部署之前评估其利弊。预测人工智能 VS. 生成人工智能。重要的是要明确预测人工智能和生成人工智能是不同的;两者都有不同的目的。预测人工智能专注于分析现有数据(经过训练的标记数据集),以做出明智的未来预测或决策,例如推荐产品。相比之下,生成式人工智能超越了分析,创造了全新的内容,如文本、图像或音乐,反映了在训练数据中发现的模式。人们很容易混淆。
摩根士丹利最近在报告中发布了一些数据,“美国科技:2Q24 CIO 调查 - 预算稳定,CIO 紧张,”显示 CIO 正在优先考虑围绕网络 AI 的举措/机器学习项目。截至 2024 年第二季度,人工智能 (AI)/机器学习 (ML) 在 CIO 优先级列表中排名第一,净优先级较 2024 年第一季度有所增加(约 16% 的 CIO 认为其为最高优先级)。在 2024 年第 2 季度的调查中,AI/ML 的优先级环比增幅最大。值得注意的是,它们被称为生成人工智能。尽管并不令人意外,但微软第二季度的数据凸显了 CIO 对生成式 AI 技术的热情日益高涨。此外,75% 的 CIO 现在表示生成式 AI/LLM 对 2024 年 IT 投资优先事项有直接影响,这一比例较 2024 年第一季度的 73% 和 2023 年第四季度的 68% 有所上升。有趣的是,尽管 CIO 优先考虑 AI/ML,但他们的项目中这些 AI/ML 项目的实际实施却有所节制。他们明确表示,他们正在等待 Gen-AI 支出大幅提高软件预算。重要的是要补充一句相关的话:“与此同时,我们等待创新驱动的支出周期(由生成式人工智能驱动)来推动软件预算更高,但考虑到这一周期的时机,如果有的话,可能会被推迟。对于如何构建生成式人工智能解决方案的参考架构以及将生成式人工智能解决方案构建到打包应用程序产品中的相对新生事物缺乏信心。”总的来说,摩根士丹利的大部分数据都证明了我们的假设,即虽然大多数企业都希望推动人工智能计划,但距离完成执行和部署仍将是一个漫长的过程。根据我们的讨论,许多公司认为他们需要到 2025 年才能大规模实施并为其产品建立支出。此时,Gen AI 的优势显而易见。然而,风险更大且不明确,导致大规模部署速度慢得多。波士顿咨询集团 (BCG) 去年针对 2,000 名全球高管的报告发现,由于存在多种风险因素,超过 50% 的人积极劝阻采用 GenAI。其中一些风险围绕这些模型的安全、治理、法规和输出。当今任何快速部署人工智能的企业都可能面临如何部署治理协议来管理敏感数据的进出方式(无论是为他们服务的客户还是在内部)。公司必须管理如何执行围绕 PII 的内部政策和外部监管框架。而且,训练模型的成本仍然昂贵,并且部分模型输出仍然会产生幻觉。正如本报告大部分内容所讨论的,许多企业选择通过将其 URL 列入组织防火墙内的黑名单来完全阻止对 GenAI 工具(例如 ChatGPT)的访问。虽然这种方法可以降低风险,但可能会导致生产力损失,并且无法解决与远程工作人员或不受管理的设备相关的问题。
- 无意的数据泄露:员工可能会无意中将敏感数据粘贴到 ChatGPT 中而泄露,从而导致意外泄露。
- 恶意内部人员活动:恶意内部人员可以通过精心设计的问题向 GenAI 工具提供敏感数据来操纵 GenAI 工具,当从非托管设备询问相同的问题时,可以实现数据泄露。
- 存在风险的人工智能浏览器扩展:这些扩展可以从您的用户正在使用的任何网络应用程序中窃取任何数据。
企业正在使用 LayerX 等浏览器扩展安全公司来保护其设备、身份、数据和 SaaS 应用程序免受传统端点和网络解决方案可能无法解决的基于 Web 的威胁。这些威胁包括数据泄露、通过网络钓鱼进行的凭据盗窃、帐户接管以及恶意浏览器扩展的发现和禁用等。在这里,我们看到了浏览器扩展的作用。通过部署浏览器安全扩展,组织可以在 ChatGPT 等 GenAI 工具中应用监控和治理操作。这包括阻止访问、发出警报以及阻止粘贴或填写敏感数据字段等特定操作。这些控制措施可帮助员工提高工作效率,同时保护敏感信息。由于 GenAI 工具是通过网络会话访问的,因此该扩展程序可以监督和管理用户与其交互的方式,包括根据上下文确定允许哪些操作。当我们探索企业未来如何采用人工智能/法学硕士时,评估企业是否会采用开放式或封闭式模型、这对未来有何影响以及安全的作用也同样重要。关于开源模型与闭源模型是否将成为市场上的领先模型,仍然存在很多争论。主要的 CSP 和 AI 公司正在投入大量资金来赢得胜利。如今,领先的模型是闭源公司,例如 ChatGPT-OpenAI、Anthropic 的 Claude,以及 Google 的 BERT/Gemini。截至目前,OpenAI 等闭源模型已成为全球企业使用的领先模型。最近的 Emergence Capital(“超越基准报告”)估计 OpenAI 约为 70-80%目前 LLM 部署的市场份额,Google Gemini 远远落后于第二位,约为 10%。企业通常选择 Open-AI 等闭源模型,因为它们的稳定性和大规模性能得到了验证。这些模型提供全面的支持、定期更新和集成服务,使其成为关键任务应用程序的理想选择。还有 Claude by Anthropic,专注于道德人工智能,旨在更安全、更符合对道德人工智能感兴趣的企业。像 OpenAI 这样的闭源模型提供了即插即用的解决方案,可以轻松集成到现有的企业系统中。这可以吸引那些寻求快速部署而无需广泛的内部人工智能专业知识的企业。摩根士丹利的研究表明,微软是一个重要的受益者。他们在第二季度的调查中观察到,94% 的 CIO 表示计划在未来 12 个月内使用至少一种 Microsoft 的生成式 AI 产品(Microsoft 365 Copilot 和 Azure OpenAI 服务筛选为最受欢迎),显着高于 63% 2023 年第 4 季度的 CIO 和 2023 年第 2 季度的 CIO 分别为 47%。展望未来三年,类似的 94% 的首席信息官表示计划使用微软的生成式人工智能产品,这表明这种采用水平应该是持久的。此外,值得注意的是,微软针对人工智能/法学硕士的安全性正在获得关注。根据微软最近一次财报电话会议,已有超过 1,000 名付费客户使用了 Copilot for Security。如今最流行的是 Meta 和 Mistral 的 LLaMA 2。关于开源模型一直存在争议,因为它们允许企业定制和微调模型以满足其特定需求。这种灵活性对于具有独特需求的组织或希望将其人工智能应用程序与竞争对手区分开来的组织至关重要。最显着的好处是,通过开源模型,企业可以完全在其基础设施内部署模型,确保对数据隐私和安全的完全控制。这对于数据保护法规严格的行业尤为重要。成本考虑——虽然部署开源模型所需的初始设置和专业知识可能更高,但长期成本通常较低,因为与闭源模型公司相比,没有持续的许可费用。拥有内部人工智能专业知识的企业通常更喜欢这条路线,因为它具有成本效益。在开放或封闭模式占据最大市场份额的世界中,考虑网络安全供应商的作用至关重要。在开源世界中,网络安全供应商必须考虑到模型部署的巨大多样性。每个企业可能会以不同的方式修改模型,从而要求供应商提供适应性强且可定制的安全解决方案。这增加了复杂性,但也为针对特定行业或企业需求量身定制的利基解决方案创造了机会。开源模型提供模型架构和代码的完全透明性,使网络安全供应商能够彻底分析和保护模型。由于部署开源模型的企业通常保留对其数据的完全控制,因此供应商必须专注于保护本地基础设施并确保数据隐私。在闭源模型世界中,闭源模型往往在企业之间进行更加标准化的部署。这种一致性可以简化安全解决方案的开发。对于闭源模型,供应商对模型内部的访问可能受到限制,这使得开发深度集成的安全解决方案变得具有挑战性。他们可能必须依赖模型所有者提供的 API 或其他接口,这可能会限制可应用的安全措施的深度。还有一个问题是网络安全供应商是否需要与 Open-AI 合作才能真正提供深度安全,或者 Open-AI 是否会购买更深入的安全解决方案。
生成式人工智能和大语言模型(LLM)的出现在将人工智能的安全性和可靠性推向前沿方面发挥了关键作用。随着企业部署人工智能/法学硕士,它们引入了网络攻击者可以利用的一系列新风险和漏洞。尽管这些问题已经存在了一段时间,但它们常常被边缘化,批评者将它们视为理论问题而不是实际问题。围绕人工智能安全责任的模糊性——无论是安全团队的安全问题还是机器学习 (ML) 和工程团队的运营问题——现已得到解决。
人工智能(尤其是生成模型)带来的更微妙但更深远的挑战之一是应用程序内控制平面和数据平面的融合。在传统的软件架构中,控制应用程序的代码与其处理的数据之间存在明显的分离。这种分离对于最大限度地降低未经授权的访问或操纵数据的风险至关重要。
生成式人工智能模型通过在模型本身内集成控制和数据来模糊这种区别。这种集成通常直接向用户公开推理过程,在用户输入和模型输出之间创建直接链接。这种暴露引入了新的安全漏洞,类似于传统应用程序中 SQL 注入相关的风险。日常用例是即时注入攻击,其中恶意用户精心设计输入以利用模型行为。这些攻击是LLM背景下的新兴威胁。
此外,第三方模型的使用引发了对数据安全的担忧。专有数据,包括个人身份信息 (PII) 等敏感信息,通常在推理过程中被输入到这些模型中,可能会将其暴露给安全实践未知或不足的第三方提供商。数据泄露的风险,无论是通过模型提供商滥用数据还是通过意外输出,都凸显了人工智能系统中严格数据安全措施的迫切需要。
行业正在努力标准化主要风险和攻击,但到目前为止,我们还没有经历过重新定义行业的重大漏洞。整个行业最流行的标准是 OWASP AI/LLM 的十大风险 或 MITRE ATLAS。稍后我们将更深入地探讨其他风险。突出的风险包括成员推理攻击、模型提取攻击、逃避攻击、后门攻击、越狱攻击和加固风险。从最基本的层面来看,许多企业面临的最大问题是管理员工使用聊天机器人和访问 GenAI 应用程序时企业数据的流入和流出方式,特别是考虑到 GenAI 应用程序的员工使用量增长了 44%。然而,展望未来,组织将面临大规模风险——主要是在生产中管理自主代理和LLM。了解人工智能风险因素的最佳方法之一是查看整个供应以及在哪里开发模型。谷歌创建了人工智能安全框架。与我们对整个软件供应链风险的看法类似,企业在整个机器学习供应链中面临着不同类型的攻击。
同样,但在更广泛的层面上。我们可以评估机器学习供应链攻击的风险。模型可以被操纵,提供有偏见、不准确或有害的信息,用于创建有害内容,例如恶意软件、网络钓鱼和用于开发深度伪造图像、音频和视频的宣传,任何恶意活动都会利用这些信息来提供对危险或非法信息的访问。这些是复杂的网络攻击形式,攻击者巧妙地操纵输入数据来欺骗人工智能模型,使其做出错误的预测或决策。这些攻击利用了模型对输入数据中特定特征的敏感性。通过引入微小的、通常难以察觉的变化(例如更改图像中的几个像素),攻击者可以导致 AI 模型对数据进行错误分类。例如,在图像识别系统中,精心设计的对抗性攻击可能会导致模型错误地将停车标志识别为限速标志,从而可能导致危险的现实后果。这些类型的攻击在自动驾驶汽车、医疗诊断和安全系统等关键应用中尤其令人担忧,在这些应用中,人工智能模型的可靠性和准确性至关重要。对抗性攻击能够在没有明显妥协迹象的情况下巧妙地破坏人工智能模型,这凸显了对先进防御策略的需求,例如对抗性训练和强大的模型评估技术。模型反转是一种攻击,使对手能够通过分析人工智能模型的输出来重建敏感输入数据,例如图像或个人信息。这带来了严重的隐私风险,特别是在医疗保健和金融等应用中。防止这种情况需要仔细管理模型暴露和输出处理。这是人工智能系统面临的另一个重大威胁,涉及故意将恶意或误导性数据注入人工智能模型的训练数据集中。这种攻击的目标是破坏模型的学习过程,导致有偏见或不正确的结果。例如,如果人工智能模型旨在检测欺诈交易,攻击者可能会引入有毒数据,将某些欺诈活动错误地标记为合法。因此,该模型在部署到现实环境中时可能无法检测到实际的欺诈行为。数据中毒的危险在于它能够从基础层面损害人工智能模型。一旦模型接受了有毒数据的训练,错误和偏见就会根深蒂固,使得识别和纠正问题变得困难。这种类型的攻击特别阴险,因为它可以保持隐藏状态,直到部署模型为止,此时损害可能已经很严重了。就其本质而言,生成模型可以产生几乎无限范围的输出。虽然这种灵活性是一个关键优势,但它也带来了一系列潜在的挑战。这种模型的评估相对简单,侧重于狭窄范围内的分类正确性。相比之下,生成式人工智能模型的评估要复杂得多,而且是多方面的。仅仅确定模型的输出在技术上是否正确是不够的。利益相关者还必须评估输出的安全性、与环境的相关性、与品牌价值的一致性、潜在的毒性以及产生误导性或“幻觉”信息的风险。这种复杂性使得确保人工智能系统可靠性的任务既具有挑战性又细致入微,需要更广泛、更复杂的评估方法。判别模型的性能评估通常很简单。它依赖于完善的统计指标来量化模型的预测与已知结果的匹配程度。这些模型通常在标记数据集上进行训练,可以根据历史数据对性能进行清晰、客观的评估。然而,生成模型,例如聊天机器人和其他自然语言处理 (NLP) 应用程序中使用的模型,提出了一系列不同的挑战。他们的产出的质量和适当性不仅是多维的,而且是高度主观的。什么被认为是“好”、“安全”或“有用”可能会因环境、受众和个人喜好而有很大差异。16、企业采用人工智能安全工具
在我们的研究过程中,我们与参与评估人工智能安全解决方案的几位 CISO、CIO 和买家进行了交谈。我们感觉到当前的采用虽然仍处于萌芽阶段,但已开始成熟。大多数 CISO 正在(越来越多地)购买新的生成式 AI 解决方案,基于以下因素:
首先,这仍然是一个购买比较构建解决方案,因为大多数内部人工智能人才都分配给开发模型或LLMs。与此同时,安全团队需要具备创建解决方案的能力。这不仅包括安全性,还包括存在跨职能重叠的团队,例如数据、BI,甚至新的生成式 AI 团队。安全方面
其次,组织和企业正在努力确保员工和数据当前的安全。在这里,我们看到借用 ZTNA 框架的传统方法,包括 DLP、CASB 和一些类似 SWG 的解决方案,除了使用当前利用的基于 SaaS 的工具之外,它们还充当员工直接使用的内容(与 ChatGPT 接口)之间的代理。人工智能(例如 Canva)。简单来说,就是人工智能的进/出。当我们询问这些领导者如何在该领域竞争的众多初创企业中找出最佳解决方案时,他们通常会混合以下内容:
第三,企业开始在实际需求之前购买人工智能安全解决方案。虽然这听起来有悖常理,但我们从几家上市公司的首席信息安全官那里得知,董事会/股东要求我们制定人工智能护栏和安全措施。我们喜欢使用的类比:这几乎就像雇用一组保镖来保护一张空白画布,但人们普遍认为,一旦画布被绘制出来,它几乎就会成为毕加索或蒙娜丽莎。与此相关的是,我们听说更重要、更复杂的企业将要求公司拥有“AI-SBOM”,这是创建和部署 AI 或 LLM 时使用的所有组件、依赖项和元素的详细清单或列表。在人工智能的背景下,SBOM 包括以下内容:
- 数据源:用于训练 AI 模型的数据集,包括有关数据来源、处理方式以及任何偏差或限制的元数据。
- 算法和模型:开发过程中使用的具体机器学习算法、模型或框架(例如TensorFlow、PyTorch),包括版本和配置。
- 软件库和依赖项:AI系统所依赖的所有软件库、软件包和依赖项,包括其版本。
- 训练过程:有关训练过程的详细信息,包括环境、资源和使用的任何特定超参数。
- 硬件依赖性:如果AI系统需要特定的硬件(例如GPU),这也将包含在SBOM中。
- 安全与合规信息:与安全漏洞、法规合规性以及对人工智能系统进行的任何认证或审核相关的信息。
一部分成熟的客户是采用人工智能的先行者。我们采访了一位客户,他使用 AWS 和 LangChain 创建了第一个面向客户的聊天机器人。他们目前使用位于聊天机器人前面的生成式人工智能安全解决方案(通过 API),以确保没有敏感信息被外部共享。同样,买家在评估确保不泄露任何敏感信息的有效性方面变得越来越聪明。在这里,公司(我们将在下面介绍)也正在申请他们的法学硕士除了不断微调以确保高功效(> 90%通过POC)。同时,延迟很低(目前还没有好的指标)。与微调相关,我们正在收集首席信息安全官/首席信息官和买家的意见——他们完全知道这适合购买类别,他们开始询问提供商多少钱对抗性测试已经通过了他们的模型以及他们可以分享的结果(如果有的话)。一些行业正在利用这些提供商:政府、金融服务、汽车、石油/能源、旅游和科技/电子商务。在所有行业中,往往存在以模型安全、周边防御和用户安全为中心的用户案例。我们已经看到旅游业成为采用聊天代理的最快推动者之一。因此,采用人工智能安全提供商势在必行。虽然很容易贬低聊天机器人用例对行业长期发展的准确性,但这清楚地表明人们有兴趣使用整体解决方案来保护员工、敏感数据和客户/面向内部的人工智能应用程序。人工智能安全发展的下一个明显标志是保护代理应用程序。帮助企业安全地开发和部署第一个超越第一个聊天机器人的非确定性计算应用程序感觉像是一个巨大的机会,而且到目前为止还为时过早。我们开始看到一些公司迈出了这一步,例如 Apex Security 推出了新的人工智能代理风险和缓解服务。供应商格局讨论
我们发现 Gartner 关于人工智能对网络安全和 CISO 的影响的最新报告是对当今企业中存在的相关攻击面的最全面的审视。利用 Gartner 的框架,我们根据细分市场对确保表面积的相关公司进行了划分。治理
治理是企业实施人工智能安全的关键第一步。它建立了强大的框架来定义角色、责任和政策,确保遵守法规和道德准则,同时提高人工智能模型的透明度和可解释性。
人工智能治理中的 IT 风险既包括传统的漏洞,也包括生成式人工智能引入的新考虑因素,例如知识产权侵权和有毒输出。全球范围内人工智能法规的激增,超过 58 个国家提出了自己的方法,使这一情况进一步复杂化。有效的人工智能治理需要双管齐下的策略:1) 全面了解整个组织的 GenAI 使用情况,2) 制定和实施明确的政策来映射和减轻相关风险。这涉及跟踪人工智能许可证、识别内部人工智能项目以及监控第三方人工智能集成,以创建安全的人工智能生态系统。供应商专注于帮助公司实施针对 SaaS 应用程序和非人类身份的访问权限和控制的治理。Knostic AI、Antimatter.io、Unbound Security 和 Protopia AI 的解决方案对于确保大型语言模型数据的正确访问配置和维护强大的数据安全性至关重要。合规和治理方面有多家供应商,包括Arthur.ai、Askvera、Fairnow、Cranium、Credo AI、Holistic AI 和 Knostic。数据隐私、数据泄露预防和模型中毒
供应商:Antimatter、Gretel、Skyflow、BigID、Bedrock Security 和 Nightfall AI。
- Enkrypt AI:他们确保在将任何提示发送给 LLM 之前对个人身份信息 (PII) 进行编辑,而 DAXA 则在 LLM 响应上启用商业意识政策护栏。
- Antimatter:他们通过确保适当的访问控制、加密、分类和库存管理来管理 LLM 数据。
- Protecto:它们保护检索增强生成 (RAG) 管道的安全,实施基于角色的访问控制 (RBAC),并帮助编辑 PII。
- 综合数据保护:Gretel 等公司提供 API 支持,允许您使用“虚假数据”训练 GenAI 模型,并通过质量和隐私评分验证用例。此外,Tonic 等公司还帮助对数据集进行去识别化、转换生产数据以使其适合训练,同时维护管道以保持合成数据的最新状态。
端到端解决方案(构建到实时)
一些供应商已经成为端到端可见性或最后一英里支持公司(涵盖测试、评估和性能监控),特别是在多模型环境中,这将获得关注。示例包括提示安全 + Portal26 + Lasso 安全 + Troj.AI + 隐藏层 + 强大的智能
红队已成为实施这些模型的核心组成部分。公司正在利用围绕拜登人工智能行政命令和欧盟法案的监管要求来构建红队解决方案。其中一些公司包括 Mindgard、Prompt Security、Repello AI 和 SydeLabs (ProtectAI)。
Model Lifecycle模型生命周期
除了部署之外,模型开发的初始步骤。
- HiddenLayer:该公司为生成式人工智能和预测性人工智能模型提供检测和响应能力,专注于检测即时注入、对抗性攻击和数字供应链漏洞。HiddenLayer 以其基于代理的 AI 平台安全性而脱颖而出,包括 AI 模型扫描仪以及 AI 检测和响应解决方案。
- Radiant AI:位于模型层和应用程序层之间。虽然 Radiant 并不直接竞争安全预算,因为他们帮助团队识别模型中除了安全性之外的性能异常值,但由于其位于沙箱环境和 AI 模型之间的模型网关,他们看到了一些安全性问题。因此,它们提供了诸如警报(通过框架)和模型本身的访问控制等功能,这对于需要基本 RBAC 的 CISO 来说很有吸引力
Application Layer应用层
Prompt Security:专注于构建三个用例:保护员工(通过浏览器)、保护开发人员(通过代理)以及通过 SDK/代理保护 LLM 应用程序。我们认为该公司是生命周期和人工智能应用安全模块的早期领导者之一。
- Protect AI:Protect,该领域的先行者之一正在构建一个端到端平台,从应用程序层开始,并继续完整的端到端模型开发。他们专注于提供对模型本身的零信任并拥有红队功能。
- Mindguard:Mindgard 的核心优势在于其 AI 红队平台,该平台可识别风险、提供标准化评估,并为生成式和预测式 AI 系统提供有效的缓解措施。他们以合规性和责任为先,帮助运行安全的人工智能应用程序。他们的解决方案可以使安全团队动态地对任何托管在任何地方的人工智能模型进行红队——在 HuggingFace 等公共模型中心、您的内部平台或您最喜欢的云提供商上。
- Liminal:与许多同行一样,除了桌面应用程序之外,Liminal 还致力于保护员工通过浏览器与 AI/LLM 进行交互的安全,明确帮助公司安全地部署 AI 应用程序。
- Swift 安全性:Swift 安全性专注于保护三种类型的用例:LLM 应用程序、使用 AI 的开发人员以及 LLM 应用程序本身。您可以将 Swift 部署为内联代理;他们还专注于检查动态数据以提高安全性。
- AI Sentry:AI Sentry 专注于通过对 RAG 以及 AI 应用程序和代理本身实施访问控制来保护生成式 AI 应用程序的安全。
- Apex Security:Apex Security 设计的产品涵盖了从数据泄漏(员工)到 AI 漏洞和提示注入(通常发生在应用程序层)的用例。目前该产品基于无代理架构,可以快速插入许多云环境,这有助于增强其检测引擎。
- Calypso:Calypso 专注于保护 LLM 和 AI 模型本身,而不是员工。该公司通过 API 在多个LLM和公司申请之间充当代理。它可以在本地和云端部署,不会影响延迟,并提供完整的可见性。
- Troj-AI:Troj.ai 是一家专注于企业的 AI 安全公司,通过安装在客户环境(本地或云端)中的软件提供服务。他们专注于企业使用任何模型(自定义或现成的)构建自己的应用程序。他们的解决方案特别注重理解来自模型的输入和输出并在运行时保护它们。他们在构建时评估模型的风险(通过渗透测试),并通过分析模型的提示在运行时保护模型。他们的解决方案背后的核心前提是,大多数企业希望他们的模型更贴近用户,并且不希望他们的数据离开企业。
- Lasso Security:Lasso Security 的方法集中于其在LLM和各种数据消费者(包括内部团队、员工、软件模型和外部应用程序)之间操作的能力。
- Unbound 安全性:Unbound 专注于通过对 AI 应用程序的全面可见性和控制来加速企业采用 AI 使用。它有一个浏览器插件来监控员工对人工智能应用程序的使用情况,以及一个用于基于应用程序交互的人工智能网关。
其他玩家还有AI Shield、Meta、Cadea、AppSOC、Credal、Encrypt AI等。Observability可观察性
企业需要对人工智能系统活动进行全面监控和记录,以实时检测异常情况和潜在的安全事件。持续监控人工智能模型对于识别偏差、偏见和其他可能损害安全性和可靠性的问题至关重要。这里的一些初创公司包括
- Prompt Security、Lasso 和 Helicone 提供监控解决方案。SuperAlign 为使用中的所有模型和功能提供治理、跟踪合规性并进行风险评估。
- Lynxius 专注于评估和监控模型性能,特别是模型漂移和幻觉等关键参数。
- Harmonic Security 帮助组织跟踪 GenAI 的采用情况并识别 Shadow AI(未经授权的 GenAI 应用程序使用)。它使用预先训练的“数据保护法学硕士”来防止敏感数据泄露。他们的创新方法是直接与员工进行补救,而不是简单地向安全团队发出警报。
- Unbound Security: 解决影子 AI 问题的方法不仅是对正在使用的 AI 应用程序进行分类,还可以主动引导员工使用每个类别中 IT 认可的 AI 应用程序。当员工尝试共享敏感信息时,Unbound 还会执行由员工主导的即时补救措施。17、Future Predictions未来预测
我们对未来人工智能安全的可能性仍然感到兴奋。与其他“泡沫”相比,人工智能安全虽然在实际需求、CISO 的优先级和长期可行性方面仍处于萌芽状态,但在很大程度上是“购买”与构建的明显区别。因此,我们认为将会出现集中的赢家和少数输家。后者将导致大量并购,我们预计我们将在 2025 财年下半年看到其中一些。为什么是 2025 财年下半年?到那时,我们将清楚地了解实际生产(面向客户)的LLM申请以及它们是否会被广泛使用。一些人预测,在衡量生产力对成本的影响时,人工智能仍然具有投机性。
在整合方面,您会看到熟悉的名字,例如 PANW、Zscaler、思科和其他大型企业。我们相信,随着LLM和人工智能领域的创新步伐,以及人工智能的安全性,更大的现有企业将被迫购买该领域的几家初创企业,这些企业能够灵活地跟上市场需求,并且除了天赋。在这里,我们预计团队将根据其合理的人工智能/机器学习和安全人才而被收购。明年将会说明一切;我们将了解人工智能实际投入生产的程度。在使用人工智能和安全部署人工智能的董事会层面的压力之间,这是许多公司正在利用的顺风车。称之为“第一基地”,为了达到“第二基地”,人工智能安全公司将需要开发最顺畅的产品,这些产品不会妨碍生产,确保不会引入延迟,而且重要的是,提供完整的可见性了解员工和应用程序中发生的情况。我们还早,但事情正变得更加真实。至于安全性,这是一个多么令人兴奋的时刻——经历另一场巨大的结构性转变,这将释放生产力和业务,同时也会引入漏洞,其中一些漏洞已经开始为人所知,而另一些漏洞将是全新的。我们很高兴看到这个领域的展开,并希望在未来的几年里重新审视它,看看我们犯了多少错误,如果幸运的话,我们有多少是正确的。