2024 年是人工智能 (AI) 辉煌的一年。然而，随着企业加大采用力度，恶意行为者一直在探索利用智能攻击破坏系统的新方法。
随着人工智能领域的快速发展，在前进之前，值得回顾一下。以下是我们 2024 年的五大人工智能安全故事。
你现在能听到我的声音吗？黑客利用人工智能劫持音频
攻击者可以使用大型语言模型(LLM)、语音克隆和语音转文本软件伪造整个对话。但是，这种方法相对容易被发现，因此 IBM X-Force 的研究人员进行了一项实验，以确定是否可以实时捕获和替换对话的某些部分。
他们发现这不仅是可能的，而且相对容易实现。在实验中，他们使用了关键字“银行账户”——每当演讲者说银行账户时，法学硕士就会被指示用假的银行账户号码替换所述的银行账户号码。
人工智能的有限使用使得这种技术很难被发现，为攻击者提供了一种不被发现的窃取关键数据的方法。
疯狂时刻：新安全工具可在 60 秒内检测到 AI 攻击
降低勒索软件风险仍然是企业 IT 团队的首要任务。然而，生成式人工智能 (gen AI)和 LLM 使这一任务变得困难，因为攻击者使用生成式解决方案来制作网络钓鱼电子邮件，并使用 LLM 来执行基本的脚本任务。
新的安全工具，例如基于云的 AI 安全和 IBM 的 FlashCore 模块，提供 AI 增强检测，可帮助安全团队在不到 60 秒的时间内检测到潜在攻击。
保护途径——绘制人工智能攻击的影响图
研究发现，84% 的首席执行官担心与人工智能相关的大规模或灾难性攻击。
为了帮助保护网络、软件和其他数字资产的安全，公司必须了解人工智能攻击的潜在影响，包括：
提示注入：攻击者创建恶意输入，覆盖系统规则来执行非预期的操作。
数据中毒：对手篡改训练数据以引入漏洞或改变模型行为。
模型提取：恶意行为者研究 AI 模型的输入和操作，然后尝试复制它，从而使企业 IP 面临风险。
ChatGPT 4 快速破解一日漏洞
坏消息是什么？在一项使用 15 个一日漏洞的研究中，安全研究人员发现 ChatGPT 4 可以在 87% 的时间内正确利用它们。一日漏洞包括易受攻击的网站、容器管理软件工具和 Python 包。
更好的消息是？当 LLM 可以访问CVE描述时， ChatGPT 4 攻击的效果要好得多。如果没有这些数据，攻击效果将下降到只有 7%。还值得注意的是，即使有 CVE 数据，其他 LLM 和开源漏洞扫描程序也无法利用任何一日问题。
NIST 报告：人工智能容易遭受注入式黑客攻击
NIST 最近的一份报告《对抗性机器学习：攻击和缓解的分类和术语》发现，快速注入对大型语言模型构成了严重风险。
提示注入有两种类型：直接和间接。在直接攻击中，网络犯罪分子会输入导致意外或未经授权的操作的文本提示。一种流行的提示注入方法是 DAN，即“立即执行任何操作”。DAN 要求 AI 通过告诉 ChatGPT 模型他们现在是 DAN 来进行“角色扮演”，DAN 可以做任何事情，包括进行犯罪活动。DAN 现在至少是 12.0 版本。
与此同时，间接攻击则侧重于提供受损的源数据。攻击者创建 PDF、网页或音频文件，这些文件被 LLM 提取，进而改变 AI 输出。由于 AI 模型依赖于持续提取和评估数据来改进，间接即时注入通常被认为是 gen AI 最大的安全漏洞，因为没有简单的方法来发现和修复这些攻击。
人工智能成为焦点
随着人工智能成为主流，2024 年安全问题显著上升。随着新一代人工智能和法学硕士继续以惊人的速度发展，2025 年将出现更多类似的情况，尤其是随着企业采用率不断上升。
结果如何？现在，企业比以往任何时候都更需要关注人工智能解决方案，并密切关注最新的智能安全新闻。
— 欢迎关注 往期回顾 —
网络安全等级保护：明确测评双方的责任从了解测评过程指南开始（思维导图下载）
>>>数据安全系列<<<
因侵犯公民个人信息罪 深圳一人被判一年三个月 售卖他人求职简历
公安部网安局：河南开展整治网络谣言专项行动 查处造谣传谣3000余人
一公司高管为泄愤攻击智慧停车收费系统，致上千家停车场无法自动抬杆
上海4人被判刑：5元掌握明星偶像行程？贩卖明星信息4人被判刑！
假期内，网络主播直播约架？郑州警方迅速控制，刑拘十人！网络空间不是法外之地！
网络水军团灭记：“转评赞”狂刷单 上百人“网络水军”团伙落网
北京多家公司因不履行网络安全保护义务被处罚！“两高一弱”仍然是安全隐患重点
>>>其他<<<
网络安全知识：什么是CIA三要素 (机密性、完整性、可用性)？
网络安全知识：什么是基于域的消息认证、报告和一致性 (DMARC)？
