【技术观点】AI大语言模型10大安全风险的思考

财富 2024-07-23 15:32 北京

大模型应用已经真实来到我们每个人身边，在自然语言处理、图像识别、语音处理等领域展现出了前所未有的能力，影响着各行各业的发展。

随着大模型应用的日益广泛，其安全问题也变得愈发重要。大模型训练需要大量数据，可能包含敏感信息（如个人信息、商业秘密等），造成信息泄漏；攻击者可以通过精心设计的输入（对抗性样本）欺骗AI模型，导致错误的输出，对自动驾驶、医疗诊断等构成严重威胁；大模型还可能被用于生成虚假信息、传播谣言、网络欺诈等恶意活动。

2023年8月，国家网信办等联合发布的《生成式人工智能服务管理暂行办法》正式实施，强调了大语言模型安全的重要性，防止潜在的隐私泄漏、违法犯罪行为。

《OWASP大语言模型应用程序十大风险》报告，对大语言模型安全给出了详细指南，让我们逐条解读：

提示词注入

攻击者采用绕过过滤器或构造提示词的方法，操控大语言模型（LLM），使其执行“注入”操作，进而导致数据泄漏或其他安全漏洞。

防范措施

1）实施严格的输入验证，拒绝或净化恶意输入。

2）使用上下文感知的过滤器，检测并阻止可疑提示词。

3）定期更新LLM，增强其对恶意输入的识别能力。

4）监控记录所有LLM交互，以便检测分析潜在的注入尝试。

数据泄漏

LLM可能无意中在回复时泄漏敏感信息或专有算法。

防范措施

1）严格进行输出过滤，通过上下文感知限制恶意输入，防止LLM泄漏敏感数据。

2）通过差分隐私技术或数据匿名化，降低LLM对训练数据的记忆与过度拟合。

3）定期评估数据暴露面，检查LLM响应内容，避免无意泄漏。

4）事前加强数据安全防护，事中监控模型交互，事后通过记录日志回溯分析数据泄漏事件。

不完善的沙盒隔离

LLM与其他关键系统或数据存储隔离不充分，可能潜在利用、越权访问或意外操作敏感资源。

防范措施

1）选择完善的沙箱技术，使LLM与其他关键系统资源独立。

2）限制LLM对敏感资源的访问，确保操作权限为最低限制且在安全路径内。

3）定期审核并检查沙箱的完整性和安全性。

4）监控LLM的所有交互，预先分析潜在的沙箱问题。

非授权代码执行

LLM可能成为攻击者在底层系统执行恶意代码或命令的工具。

防范措施

1）实施严格的输入验证和清理流程，防止LLM响应恶意注入。

2）确保沙箱环境的安全性，限制LLM的操作权限以及与底层系统的交互能力。

3）定期进行安全审计，避免越权或攻击面暴露。

4）监控系统日志，检测和分析未经授权的系统接口暴露，以便及时止损。

SSRF（服务器端请求伪造）漏洞

LLM可能被攻击者利用去访问受限资源，出现SSRF漏洞。

防范措施

1）进行输入验证和过滤，拒绝白名单外的所有输入。

2）进行内部访问控制，限制LLM直接访问内部资源，访问外部资源时通过代理服务器中转。

3）定期进行漏洞扫描和安全评估，及时修补发现的漏洞，也包括SSRF漏洞。

4）实施详细的日志记录和监控，及时发现并响应潜在的SSRF攻击行为。

过度依赖LLM生成的内容

过度依赖LLM生成的内容，可能导致信息错误、结果错误。

防范措施

1）人工审查确保内容的适用性，通过其他来源验证信息准确与否。

2）采用多样化数据源和信息来源，确保内容语法正确、逻辑一致。

3）向用户传达生成内容的局限性，提醒其保持怀疑态度。

4）建立反馈机制，保障信息逐渐完善，生成内容作为人类知识的输入补充。

人工智能未充分对齐

LLM的目标和行为可能与预期用例不一致，导致不良后果。

防范措施

1）在设计开发阶段，明确定义LLM的目标和预期行为。

2）建立多学科团队和审查机制，从多个视角评估AI系统可能产生的影响，减少偏差及风险。

3）确保使用数据的质量多样化，能够代表广泛的人群和情景，避免数据偏见与不完整。

4）实施有效的监控反馈机制，定期评估AI系统的表现与影响，及时发现修正任何不对齐行为，确保系统持续符合人类的价值和意图。

访问控制不足

未正确实施访问控制，可能允许未授权用户访问或操作LLM。

防范措施

1）遵循最小权限原则，限制用户或程序只能访问所需的资源和数据。

2）强制实施强密码策略和多因素认证，确保只有授权用户能够访问系统和敏感数据。

3）根据数据敏感性和访问需求，将访问权限控制在特定网络区域内，减少不必要的访问控制风险和暴露面。

4）建立全面的监控与日志记录机制，记录用户对系统的访问行为，可及时发现异常行为并采取应对措施。

错误处置不当

错误消息或调试信息可能向攻击者泄漏敏感内容。

防范措施

1）实施恰当的错误处置机制，确保正确地捕获、记录和处理错误。

2）定制通用错误消息，避免泄漏敏感内容。

3）定期审查错误日志，修复问题和漏洞，避免安全风险影响系统稳定性。

训练数据投毒

攻击者恶意操纵训练数据，向LLM引入危及模型安全性、有效性或伦理性的后门、漏洞与偏见。

防范措施

1）对数据源可信度进行验证，确保训练数据的来源可信。

2）将数据用于训练之前，进行充分的预处理和清理，包括检测和删除异常值、错误标记数据等。

3）通过异常检测技术发现潜在的异常行为，辅助识别和过滤投毒数据。

4）定期对训练数据和模型输出进行偏差与质量分析。

5）实施数据访问控制和审计，防止未经授权的数据修改。

除OWASP公布的十大风险外，大模型应用还面临如下挑战：

个人隐私泄漏：大模型可能需要大量个人数据进行训练和优化，这些数据如果泄漏或不当使用，会对个人隐私造成严重威胁。

歧视性结果：如果训练数据不足或不平衡，大模型可能产生偏见或歧视性结果，导致不公平的决策与推荐。

安全漏洞：大模型本身可能存在安全漏洞，被攻击者利用进行数据窃取、模型篡改或其他形式攻击。

社会影响：大模型的广泛应用可能会对社会产生深远影响，产生工作岗位变动、信息可信度下降等问题。

透明度和解释性：大模型通常是复杂的黑盒系统，其决策过程难以解释。缺乏透明度可能导致用户对模型决策的不信任。

环境影响：训练大模型需要大量的计算资源，导致能源消耗与碳排放，加剧环境问题。

滥用风险：大模型可能被恶意使用，包括生成虚假信息、进行欺诈等，导致制造混乱、操纵市场或扰乱公共秩序。

综上所述，大模型是人工智能的发展趋势和未来，在技术上带来了重大进步和广阔前景，但其应用也伴随着一系列复杂的风险和挑战，需要各行业在开发使用过程中谨慎思考、不断优化。

安博通

，可视化网络安全技术创新者

最新文章

安博通荣获“北京市知识产权优势单位”称号

安博通获评北京“数字经济”“专精特新”企业双百强

曹妃甸港：什么样的流量安全，真正“想用户之所想”？

不止攻防实战，安博通还有这些安全服务

安博通下一代AI防火墙获评“网络安全创新产品奖”

网络安全攻防演练中，企业系统被攻破的3个原因

120万用户同时在线，仍可实现上网行为精细管理？

安全隔离，高效交换！安博通网闸产品在医疗行业的实践与创新

实力见证！安博通位居“网络安全企业100强”前列

“幽灵”资产使数据泄露事件增长78%，全栈网络地图帮您看清资产全貌

向攻击者say no！创新网络安全防护“利器”在这里

安博通亮相上海普陀区网络安全产业生态大会，可视化安全赋能金融科技

安全护航，乘浪出海！安博通出席浪潮云海若智能体产业创新大会

【安全科普】NUMA防火墙诞生记

记我在网安打拼的这些年——《“晶石”日记》

首批首家！安博通算力公司荣获“算力网络+”评估证书

数据还能“被动”出境？企业如何规避跨境数据流动的雷区

安博通荣登“2024年中国网络安全前二十家企业”榜单

数据安全态势管理（DSPM）实践，新技术展开说

安博通受邀参加京雄科技人才协同创新交流会

1024丨研发工程师们的A/B面

安博通亮相2024金融街论坛年会，以可视安全赋能数字变革

物联网数据安全实践：汽车行业如何实现数据的分类分级

万名师生使用的高校校园网，如何升级才能流量稳定、安全、无压力？

隔离与交换并驱，安博通网闸如何实现双重保障？

央行数研所：加速数智化转型，打开全流量回溯的“三重门”

安博通受邀参加2024数字经济领航者交流大会

安博通荣登北京民营企业“科技创新”“社会责任”百强榜单

揭秘！安博通自动化测试的高效秘诀

安博通算力公司重磅加入算网融合产业及标准推进委员会

安博通亮相2024北京互联网大会，以可视安全力量赋能数智创新

安博通亮相2024服贸会，共赴数字经济高质量发展新未来

100%自主可控！——安博通防火墙再升级

排名持续攀升，安博通位居中国网安产业竞争力50强前列

护航开学季：敲响高校数据安全“上课铃”

安博通实力上榜“2024中国网络安全市场100强”

共建AI算力生态，安博通与江原科技达成战略合作

安博通发布全栈信创云网策略可视化平台，让安全更加自主可控

安博通发布百G高端防火墙，性能跨越“新境界”

安博通携手浪潮云亮相香港一带一路软件博览会，助推 “数字丝绸之路” 建设

北京市西城区市场监督管理局曹国东一行莅临安博通调研

SOAR实践：复杂网络环境下，安全运营如何做到标准化、智能化？

未知攻，焉知防——深度解析网络攻防演练中的常用攻击行为

让数据分类分级更轻松，安博通发布“元溯”数据资产测绘系统

揭露黑产新势力：Akira勒索软件家族深度解析

安博通获评“北京市共铸诚信企业”荣誉称号

安博通荣获“2024最具创新力科创板上市公司”

西安理工大学：一张表如何让数千师生的校园生活更智慧？

安博通联合安贞南充医院获“第七届智慧医疗创新大赛”四川赛区总决赛佳绩

【技术观点】AI大语言模型10大安全风险的思考

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉