AI相关的技术诞生已久,在安全领域里也有非常多的应用,从深度学习开始,在流量检测、反垃圾邮件,用户行为分析等,都取得了非常好的效果。
大语言模型(LLM)出现后,尤其是自ChatGPT3.5之后,由于其自然语言理解,知识掌握,逻辑分析等出色的能力,加上Agent的能力增强,更是掀起在安全领域的应用热潮。目前安全公司都在谈AI,大模型。
本文将从大模型,智能体,场景应用,安全运营,典型厂商等方面,对大模型在安全领域里的应用作详细介绍。
安全大模型
虽然大模型在通用领域表现出很强的语言理解和生成能力,但模型本身目前仍然有不少缺陷:包括
知识静态化:知识仅限于训练数据截止日期
信息获取受限:无法主动获取实时信息
执行能力缺失:不能直接与现实环境交互
无临时记忆:每一次API调用都是完全独立的,连Session能力都没有
幻觉问题:可能产生虚假或不准确的信息
解决这些问题的方法,有两条路径:
一是大模型本身在进步,包括整体的进步的发展方向的细化:
安全领域,各种垂直大模型是重点的发展方向。
这是一个安全大模型扩展的典型类型:
这是一个完整的反馈过程
经过专业训练过的安全大模型,在实战中表现出更好的效果。
安全智能体
大模型安全应用的重点方向就是智能体(AI Agent),AI Agent是一种以大模型为核心,能够感知环境、做出决策并采取行动来实现特定目标的智能系统。它的核心特点是具备自主性和目标导向性。
简单地说,智能体就是通过外围技术的增强,来弥补大模型本身的不足,形成完整的系统。
目前大模型在网络安全领域的应用,都是以智能体为表现形式。结合安全的场景、数据、知识、工具、流程等构建完整的应用服务。
安全智能体的主要应用场景包括:
每个场景都各有特点及厂商。这里边,流量检测一般不用GPT类的模型,目前BERT类的为主。其它的场景基本是利用GPT大模型对代码,自然语言等的理解能力,做深入的分析。
比如,这是一个供应链安全的场景:
安全运营
目前安全大模型(智能体)应用最大的场景是安全运营。
安全运营是当前甲方最难解决的问题。这个工作,对人才的能力和数量要求都非常高,以至于基本所有甲方都难以满足:
安全运营难度的核心,是数据获取能力,数据分析能力,基于经验的判断能力,及响应的方法,而这些,恰好是安全智能体擅长的,于是,安全大厂都在安全运营上发力。
安全智能体用于安全运营,主要是整合安全的数据获取能力,工具调用能力,综合分析规划能力,以及自然语言的人机交互能力。以下是一个典型的例子:
这个例子表现出以下特点:
大模型与现有产品之间的关系,不是取代关系,而是配合关系。大模型能够调用安全产品的数据,也可能通过API等接口指挥协调安全产品的动作。这既是数据获取能力,也是响应能力。
大部分本地个性化数据不适合直接以训练的方式进入大模型,原因包括数据安全问题,及部分数据的频繁变化,所以,用RAG增强的方式比较好。
实时变化的数据,如威胁情报,外部新的信息等,用实时查询的方式更合适。
运营工作会经常调用工具,比如资产扫描,样本分析等,原来非常需要专业能力的工作,大模型可以直接调用,并对结果作出分析。
大模型或Agent之间,可以做更多交互,以增强能力。毕竟,垂直类的大模型不是全能选手。
自然语言的人机交互能力,使得对人员的能力要求及数量要求更低。相对原来的命令行或菜单方式,学习成本低,使用效率高。
注:大模型的特点,训练完成即学习结束,已经训练的结果较难准确修改,无权限管理,这些特点决定大模型适合处理知识类数据,不太适合处理经常变化或者有权限管理要求的信息类数据。
要实现以上能力,需要大量的开发和数据对接工作。
沿着上述思路,国外的微软,CrowdStrike,国内的深信服,奇安信等公司,都做了比较好的实现,比如,下面的一些例子:
微软的Security Copilot和相关安全产品作了整合:
与 Microsoft Defender XDR 集成,提供事件摘要和脚本/代码分析等优势。该平台还提供威胁情报并利用生成式 AI 进行调查,增强对不断演变的威胁的安全性。
与 Microsoft Sentinel 无缝集成,可通过 Defender 门户在一个位置管理 SIEM、XDR 和威胁情报任务。此集成包括 Microsoft Intune,结合这些平台可提供设备保护、数据安全、改进的合规性和简化的流程,可实现全面的安全系统。
与Entra结合,可以处理ID信息及实现访问控制
与Microsoft Purview结合,可以获得有价值的数据和用户风险洞察,以帮助识别攻击来源和任何可能存在风险的敏感数据,同时可以解决数据安全和合规性问题。
与Priva结合,处理隐私问题。
这是国内深信服的,强调数据联动能力。
不仅强调外部数据,工具对接,对模型本身作为分区强化。
数据对接是个非常麻烦的事情,安全的SIEM类产品,对接一直是个大麻烦,这包括如何接入数据,如何分析数据。
在数据对接上,微软使用Plugin和Graph的技术
1. 插件(plugin) 通过在 Microsoft Copilot 中使用自然语言与 Web 服务交互来扩展用户的技能。使用插件,可以:
访问实时信息 ,例如查找产品发布的最新新闻报道
检索关系数据 ,例如报告分配给给定团队成员的服务票证
跨应用执行操作 ,例如在组织的工作跟踪系统中创建新任务
2. 图形连接器(Graph) 将数据深度集成到 Copilot for Microsoft 365 体验中,从而提高企业数据的可发现性和参与度。使用 Graph 连接器,可以:
通过让 Copilot 能够访问和汇总来自不同源的各种数据集,从而获得更全面的见解,充分利用外部数据
使用 Copilot 作为研究辅助工具,让 Copilot 通过利用所选数据集以本机方式查找、汇总和分析。
除了数据对接,由于是自然语言交互,意图识别也非常重要,微软还有双AI模型机制,实现准确的意图理解及数据收集,功能调用的能力,如下图
它除了使用OpenAI 的GPT*作为主模型以外,在上图的Microsft Security Copilot中还有一个模型,重点用于意图识别,及数据收集,产品响应的能力,与主模型及用户交互。
产品表现形式
目前对大模型的应用,在用户界面上各有特点,但总结下来,不外乎两种:
一种是在传统界面上增加人机交互能力,比如微软的XDR的sidebar形式,
在sidebar里可以继续追问
第二种则是完整的自然语言交互界面,即直接与AI对话,剩下的问题由AI完成。
以上两种方法也被国内厂商广泛应用。
具体特点上,深信服强调检测与运营结合,奇安信则强调数据分析与降噪能力,以解决告警疲劳的问题。但各家在技术原理上基本趋同。
总结
大模型在快速发展,基于大模型的安全应用也得到了快速发展。
基于以上内容,您基本可以了解目前的发展情况,但离真正应用还有距离。
本号还有一些更具体的内容,以及部分内容还在持续更新中,关注本号,可以延伸阅读。
如果您需要了解更具体的内容和应用方法,我为您准备了一个课程。
课程名称:AI大模型在安全领域的应用。
课程提纲:
时间 :3小时 或 6小时
作者在华为工作15年,华为云高级安全专家,安全TMG主任。曾负责过华为云以色列研究所的AI安全的相关研究工作,又在金睛云华专门从事AI安全产品的规划和管理工作,相关经验丰富。
部分内容在ISC大会,BCS大会,CCF论坛等多处做过演讲,相关经验丰富。有兴趣可以联系:
END