AI Agent带来哪些安全风险?如何应对?
文摘
科技
2024-09-27 07:30
浙江
作者|沙丘智库研究团队
来源|沙丘社区(www.shaqiu.cn)
根据沙丘智库发布的《2024中国AI Agent市场指南》,AI Agent是一种具有自主性或半自主性的智能实体,能够利用人工智能技术在数字或物理环境中感知、决策、采取行动并实现目标,这种能力使得AI Agent有可能彻底改变各行各业和各种环境。大模型缺少在最少的人类监督下自主行动的能力,以及在复杂环境中适应和执行目标的能力,基于大模型的AI Agent利用大模型理解、思考输出的“专家能力”,并附加规划、记忆、执行、工具调用能力,可以替代大量人工执行,消除大模型和真实世界沟通的障碍,解决大模型落地的“最后一公里”。01
AI Agent带来的新风险
AI Agent具有巨大的应用潜力,但同时也带来了新的安全风险。传统AI模型和应用的安全风险通常限于模型输入、模型处理和模型输出、编排层的软件漏洞以及托管它们的环境。除了这些威胁外,AI Agent还引入了新的人工智能风险。在使用AI Agent时,安全风险范围扩大到了AI Agent触发和参与的一系列事件和交互中,这些通常对人类或系统操作员来说是不可见的,也无法进行阻止。AI Agent在执行任务时可能引入的一系列安全问题,包括数据安全、资源管理、恶意活动、编码错误、供应链安全以及恶意代码的传播等,这些问题需要通过适当的安全措施进行解决。AI Agent带来的安全风险包括:· 数据暴露或外泄:AI Agent在执行任务的过程中可能会在任何环节暴露或外泄敏感数据;· 过度消耗系统资源:AI Agent在执行和交互的过程中可能会无节制地消耗大量系统资源,无论是有意还是无意,这可能导致系统资源过载;· 未授权或恶意活动:AI Agent可能会有意或无意地执行未授权或恶意的活动,例如恶意程序或人类的Agent“劫持”行为;· 编码逻辑错误:AI Agent可能会由于编码逻辑错误导致数据泄露或其他威胁,这些错误可能是未经授权的、意外的或恶意的;· 供应链风险:使用从第三方网站下载的库或代码用于AI Agent可能会带来供应链风险,这些代码可能被植入了恶意软件,旨在执行恶意任务;· 恶意代码的传播和复制:使用自动化的Agent流程可能会传播和复制恶意代码,以及通过检索增强生成(RAG)对Agent进行“投毒”触发恶意行为。02
AI Agent安全风险的应对措施
为了应对上述AI Agent安全风险,企业应采取如下措施:
这些措施的访问权限应授予给IT、安全或任何其他需要管理AI Agent风险的管理员用户。为了检测异常和违规行为,需要给AI Agent的行动、流程、连接、数据暴露、信息流、输出和响应提供一个全面的仪表盘视图。同时,还需要支持对Aengt的所有交互和活动进行不可更改的审计跟踪。· 输出的使用情况:AI Agent的输出是如何随时间被组织使用的;· AI Agent的使用场景:AI Agent被用于哪些具体的用例;· AIAgent的交互意图:例如Agent的目标、行为和通信方式;· 是否遵循企业政策:AI Agent的表现是否符合企业可接受的使用政策;· 是否遵循安全、隐私和法律要求:AI Agent的表现是否符合相关的安全、隐私和法律要求;· 将AI Agent的行动与企业身份和访问管理(IAM)系统集成,确保可以确定访问权限,并实施最小权限访问控制。检测并标记那些异常的AI Agent行动以及违反了企业相关政策的行动。企业在建立了仪表盘视图、确定了预期的行动基线后,就可以开始检测异常的交易和行动。考虑到AI Agent交互的速度和数量,人工无法进行所有的监督和修复,因此应尽可能对异常交易进行自动修复;对于无法自动修复的异常情况,应该立刻暂停,并转给人工进行审查和修复。· 数据脱敏:当企业定义的敏感数据(例如,个人身份信息或机密的非结构化信息)传递给Agent系统时,进行脱敏处理;· 实施最小权限访问:尽可能实施最小权限访问控制。如果检测到违规行为且无法自动修复,则阻止访问,并将问题转发给人工审查和解决;· 支持特定Agent威胁指标的拒绝列表:基于企业数据相关的威胁情报制定一个特定Agent威胁指标的拒绝列表,Agent在行动时需要根据列表进行验证;· 支持文件和文件类型的拒绝和接受列表:定义Agent可以访问和不可以访问的文件和文件类型,包括在RAG中支持Agent工作流的文件;· 实施监控和反馈循环:通过实施监控和反馈循环,识别由于不准确性导致的不需要的行动。
更多研究:
*更多生成式AI研究可前往“沙丘智库”小程序查阅
*有任何需求可咨询客服微信:zimu738