网络安全里的人工智能模型：从误用到滥用

文摘 2024-10-17 07:02 河南

人工智能现在还不会取代我们，但是懂得使用人工智能的人会取代不懂使用人工智能的人。

人工智能是目前每个人都关注的焦点，尤其是网络安全行业。在一场持续不断的打地鼠游戏中，防御者和攻击者都在利用人工智能来打破各自有利的力量平衡。在我们了解防御者和攻击者如何利用人工智能之前，我们需要了解目前流通的三种最常见的人工智能模型。

三种人工智能模型如何增强防御者

生成式 AI、监督式机器学习和无监督式机器学习是三种主要的 AI 模型。ChatGPT、Gemini 和 Copilot 等生成式 AI 工具可以理解人类输入并以类似人类的响应提供输出。值得注意的是，生成式 AI 会根据用户交互不断完善其输出，使其有别于传统 AI 系统。无监督式机器学习模型非常适合分析和识别大量非结构化或未标记数据中的模式。或者，监督式机器学习算法会根据标记良好、标记良好且结构良好的数据集进行预测。

让我们了解如何应用这些模型来增强人类研究人员和安全产品。

想象一下，只需单击一下按钮，即可生成一份 AI 摘要，一份包含所有安全事件和警报的人类可读报告，即使是非技术人员也可以阅读和理解。这是生成式 AI 实际应用的一个很好的例子。
想象一下像SASE （安全访问服务边缘）这样融合的云原生网络和安全理念，它可以处理数万亿个网络流。实际上，任何个人（甚至团队）都不可能筛选如此大量的网络和安全数据来识别恶意模式。无监督机器学习不仅可以找到模式，还可以将其与其他安全事件对应起来。
想象一下分析所有安全和技术数据，找到模式并在攻击发生之前预测攻击：得益于监督机器学习，安全研究人员的梦想成真了。

威胁行为者对人工智能模型的滥用

尽管媒体大肆宣传，但网络犯罪分子对人工智能的使用仍处于起步阶段。这并不意味着人工智能不会被用于恶意目的，但它也不会像某些人声称的那样导致人类文明的衰落。网络犯罪分子使用人工智能来完成非常具体的任务，即：

撰写超针对性的BEC电子邮件。
创建现有恶意软件的新变种以逃避检测（又称多态恶意软件）。
扫描和分析代码以识别目标系统中的漏洞。
创建视频和语音模仿（合成媒体、深度伪造）以进行社会工程攻击。

威胁行为者还开始创建自己的私有和未经审查的模型（例如PoisonGPT、WolfGPT 和 FraudGPT），因为像 ChatGPT 这样的公开可用的 AI 模型接受了道德培训，并受到内容审核规则的约束，这些规则应用了一定程度的审查。其中一些工具（例如WormGPT）被嘲笑为 ChatGPT 的廉价连接器，并且仍然容易受到同样的限制。

网络犯罪分子如何攻击、滥用和利用 LLM

威胁行为者攻击和滥用大型语言模型的主要方式有六种。

通过针对提示：假设沙箱使用 AI 分析恶意软件代码。攻击者在代码中插入“恶意”提示，误导其预测或检测。这种技术称为“提示注入”。还有其他对抗性提示技术，如混淆和“立即执行任何操作”，攻击者可以使用这些技术欺骗、破坏或用文字将 AI 武器化。
通过针对响应：如果攻击者分析了包含私人或机密信息（如硬编码密码或商业机密）的某些代码或数据集，会发生什么情况？这种不安全的输出处理可能会导致数据泄露和其他安全事件。
通过针对模型：人工智能系统容易受到偏见的影响。人工智能安全系统可能会将来自日本的流量归类为低风险。攻击者可能会利用此漏洞并使用 VPN 来掩盖其流量。攻击者还可以利用人工智能幻觉。威胁行为者遇到未发布软件包的幻觉，创建具有相同名称的恶意负载，发布它，并欺骗系统认为它是系统的一部分。
通过针对训练数据：媒体经常提到对 AI 训练数据的攻击，但获取这些数据非常困难。攻击者更有可能使用“反馈毒害”等技术，即利用人类反馈来操纵 LLM。例如，当你向 LLM 提问时，你会收到一个带有“竖起大拇指”或“竖起大拇指”反馈选项的答案，这有助于模型了解什么是相关的，什么是不相关的。攻击者可以利用这一点来操纵 LLM。
通过针对基础设施： AI 模型托管在云计算服务器和数据中心。攻击者可以发起分布式拒绝服务 (DDoS) 攻击，试图破坏或禁用该技术。供应链攻击也是一种可能性。攻击者可以攻击供应链合作伙伴，并使用特权升级和横向移动来操纵或禁用 AI 模型。
通过使用结果来针对人类、API 或系统：恶意行为者可以用恶意软件感染受害者笔记本电脑，并使用 GenAI劫持公司的金融交易。LLM 有自己的 API，第三方可以使用这些 API 来构建自定义指令和集成。如果这些集成存在漏洞，恶意行为者可以利用这些漏洞或构建恶意插件来运行中间人类型的攻击。

人工智能尚未取代我们，但懂得如何使用人工智能的人将取代不懂如何使用人工智能的人。随着技术发展如此之快，同时朝着如此多的方向发展，很难及时了解其发展和日益增加的风险。像人工智能这样的任何快速发展都会引入许多以前无法想象的新工具、策略和利用机会。安全团队必须投资于先进的融合安全模型，以提供对各种攻击面的全面概述和管理。利用机器学习算法可以进一步提高威胁检测和响应能力。