中国电信AI安全优秀实践：生成式AI崛起背后的安全挑战与应对策略

文摘 2024-10-15 11:29 广东

第八届云安全联盟大中华区大会将于11月15日在北京举行，点击图片跳转文章了解更多！

在数字化浪潮的推动下，中国电信积极响应二十大报告和"十四五"规划的号召，聚焦转型升级，提升经济韧性，发挥行业风向标作用。我们秉承守正创新、开放融合的理念，以云网赋智为核心，加快建设现代化经济体系，着力提高全要素生产率。中国电信的云改数转战略，围绕强化数字转型、智能升级、融合创新支撑，布局建设智能化综合性数字信息基础设施，核心是实现高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的基础设施。在云网融合3.0的新阶段，我们集聚AI、5G、云计算、安全、绿色五大要素，构筑人工智能时代的智慧社会基石，为社会的发展和人民的福祉贡献力量。

生成式AI的崛起

生成式人工智能（AI-Generated Content，简称AIGC）正以其惊人的发展速度和广泛的应用前景，成为推动社会进步的关键力量。中国电信作为行业的领跑者，正通过AIGC技术，推动电信网络端到端全生命周期的运营与演进，实现网络的泛在智能化。这不仅助力运营商数字化转型，更带动了整个电信产业的智能升级。

信息科技的发展，技术演进围绕“内容”为目标，也将围绕“内容”俱进，早期的内容生产，依托于电子信息产业，依靠专业的编辑，生产出高质量的内容。例如：电视、广播、报刊杂志等。互联网技术的发展使得聚焦信息、分发信息的成本由边际走向固定，用户生产的出现，让互联网的信息内容生产成本极具降低、内容丰富程度呈现爆炸性增长，抖音、小红书、微博，让我们每一个人即是内容的生产者，又是内容的消费者。生成式人工智能技术，无疑会使信息内容生产成本进一步大幅降低，效率进一步提升。形成更加丰富和多样的内容生态。同时，也可以为内容生产者提供更多的灵感和辅助，帮助他们提升创意和表达能力。信息内容的消费方式进一步变改，比如可以跟进用户个性化的需求和喜好，生产出更符合用户期望的内容。

然而，飞速发展的AI技术是一台强劲的发动机，推动着产业升级改造。随着AIGC技术的广泛应用，也带来了一系列挑战。AI安全就是保障其安全行驶的安全带，越强劲的发动机就需要越可靠的“安全带”配合。我们深刻认识到AI安全的重要性和紧迫性，我们始终把AI安全作为中国电信人工智能发展的重中之重，积极响应国家的相关政策要求，不断探索和创新AI安全的理论和实践，努力打造AI安全的品牌和形象，致力于为AI安全的发展做出我们的贡献。

面临的挑战

AIGC技术的复杂交互、多轮对话能力以及对实时性的高要求使得传统内容审查方法，如“关键词+规则”的拦截方式以及非实时的“先审后发”机制显得力不从心。攻击者可以通过Payload拆分，如“台湾”这个词，当其中夹杂着不固定多个符号的时候，关键词拦截就失去作用了。大模型和人类一样，是可以跳过这些符号来理解其中信息含义的。在多轮对话的场景下，传统内容安全审核无法准确的实现指代映射。

此外，AIGC在处理政治敏感话题时可能产生不符合社会主义核心价值观的回应，我们针对业内主流商业大模型、开源大模型的内容安全做了完整的测试，得出的结论可以看到，这样的问题并不偶然，几乎全部大语言模型都或多或少地存在着内容安全性问题，尤其是涉及社会主义核心价值观的内容安全性风险普遍存在。

中国电信的应对策略

针对 AIGC所面临的安全挑战，中国电信研究院AI研发中心可信AI团队提出了应对策略：一是协助相关部门加强对 AIGC安全问题的治理，推动相关管理制度、规范、行业标准的制定；二是加强对 AIGC安全风险与防护策略的研究，跟踪行业前沿进展，全面深入的掌握AIGC全生命周期面临的安全风险，有助于提前识别潜在风险，制定相应的测评与防护策略。三是完善AIGC安全相关产品与能力的建设。从安全测评、对抗攻击、安全防护技术入手，通过“以攻促防，攻防相长”，促进大模型安全持续迭代式发展。

核心能力构建&成效显著

中国电信研究院AI研发中心可信AI团队，基于大语言模型技术，打造具有自主知识产权和国际领先水平的可信人工智能产品和服务，提升生成式人工智能的抗攻击能力，防范化解因强人机交互技术引发的新型安全风险问题，维护社会主义核心价值观，为加快新质生产力发展保驾护航。

构建高质量意识形态语料库：基于 TC260-003 标准，覆盖了五大类关键场景，包括违反社会主义核心价值观、偏见歧视、商业违法犯罪等，进一步细化了1000+风险小类，用于构建全面科学的测评场景体系，训练自动化评估模型及防护检测模型，显著提升了AIGC生成内容的安全性和合规性。
研发主流攻击手段：覆盖国际主流针对AIGC的攻击手段，目前已攻克目标劫持、反面诱导、前缀攻击、payload拆分等27种攻击手段，攻击成功率超行业平均水平，有助于高效挖掘AIGC潜在的安全风险，促进防护策略的升级与优化。
打造AIGC合规工具集：核心能力包括事前安全测评、事中实时检测、事后安全审计。提供超过25种内容合规检测算子，可以实现针对意识形态、情感倾向、提示词注入等的检测，内容的有效检出漏报率控制在6.7%，误报率仅为3.1%。相关能力保障模型顺利上线发布，生成内容安全合规。

以上核心能力及其成效共同构成了一个全面、高效、可靠的安全保障体系，为AIGC技术的健康、有序发展提供了坚实的基础。

构建全生命周期大模型

内容合规产品矩阵

通过实施全生命周期的安全管理措施，以确保AIGC生成内容的安全、可靠、合规。

事前：安全测评与备案

全面安全评估：在模型部署之前，进行详尽的安全评估，目的是识别和定位可能存在的安全风险和弱点。

数据、算法和系统审查：对模型使用的数据、算法本身以及系统进行全面审查，确保没有安全隐患。

识别问题：重点发现如恶意攻击等问题，并确保响应识别率达到90%。

算法与服务备案：基于国家相关部门《生成式人工智能服务管理暂行办法》等法律法规要求，提供具有舆论属性或社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并履行算法备案和变更、注销备案手续。

事中：实时防护

实时监控：在模型运行期间，利用多个扫描器进行实时监控，以便及时发现安全威胁。

使用专业系统：部署入侵检测系统、异常行为分析工具，并采用自动化响应策略，以保护模型不受攻击。

解决问题：对检测到的恶意攻击进行拦截，确保响应拦截率达到99%。

事后：安全审计

详细审计：模型运行后，开展详尽的安全审计工作，回顾并分析所有安全事件。

学习和改进：从安全事件中吸取教训，改进安全策略，优化未来的防护措施。

响应回溯分析：进行深入的回溯分析，确保对恶意攻击的响应分析达到99.98%。

通过这一全生命周期的安全防护措施，可以确保大模型在各个阶段都得到妥善的安全管理，满足国家对生成式人工智能的监管要求，不仅提升了AIGC产品与服务的安全性，也为国家网络空间环境的安全稳定提供了坚实保障。

中国电信研究院 AI研发中心可信AI团队将继续积极参与到相关标准、管理制度制定过程中，为业界提供可行的AIGC内容合规解决方案。

中国电信实践案例

中国电信星辰大模型实践分享

案例背景：

2023年，中国电信启动了通用大模型的研发，旨在提供经济实惠且符合社会主义核心价值观的AIGC服务。中国电信研究院与中国电信人工智能公司联合，自2023 年7月起专注于协助星辰大模型通过模拟攻防对抗及安全测评的方式来提升模型的安全性。

成效与备案：

安全措施的实施显著提高了星辰大模型的合格率，增幅达到130%。

星辰大模型顺利通过了网信办的算法和产品双备案，确保了服务的合规性。

风险管理与服务优化：

通过安全测评，协助星辰大模型在服务上线前识别并规避了内容安全风险，避免了潜在的安全事故。

目前中国电信星辰大模型已经形成常态化测评机制，每月开展攻击测试，并针对测试中发现的安全风险进行针对性的优化改进

中国电信翼企问大模型实践分享

案例背景：

中国电信集团政企部翼企问团队采用研究院的合规数据集（含测试样本、正负样例、红线知识等），构建了内容审核模型，以提高模型的安全性和合规性。

技术方案与实施过程：

采用包括敏感词库、规则引擎、审核模型在内的技术方案，实现了对用户输入和模型输出内容的全面审核。

经过三轮测试和优化，最终达到99%的合格率。

成效与安全框架：

通过端到端全流程安全框架，中国电信翼企问大模型确保了输出内容的无害性，显著提升了模型的安全性和合规性。

中国电信的实践案例不仅体现了公司在AIGC安全治理方面的重视与卓越的专业能力，也深刻彰显了其对国家网络安全及践行社会主义核心价值观的坚定承诺。通过不断的技术创新和安全管理，中国电信不仅为自身AIGC技术的健康、有序发展保驾护航，迈向更高水平的发展轨道，也将持续赋能行业客户，提供安全可靠的AI服务与安全解决方案，为行业整体安全与发展积极贡献力量。

AI安全人才培养重要性

AIGC是AI技术在短时间内的突破性发展，也是近年来学术界和工业界研究的热点。但AIGC技术具有一定的局限性，这主要体现在其内容生成方面。一方面，AIGC生成的内容与真实世界存在差距，比如生成图像与真实环境存在明显差异。另一方面，AIGC的内容生成可能会被用于不法行为，引发社会恐慌和不信任等问题。

为此，培养高水平的人工智能安全人才至关重要，他们能够全面熟悉和掌握法律和伦理规范，防范社会问题和法律风险，促进人工智能发展的同时避免造成负面影响。

课程推荐

人工智能安全认证专家（Certified Artificial Intelligence Security Professional，CAISP）认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。

CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。

作者简介

杨哲超

现任中国电信研究院 AI 研发中心副主任，此前，曾先后就职于阿里巴巴以及微软（中国）有限公司，深度参与了图数据库、向量数据库、Windows 7、8、8.1 等一系列全球性软件产品的研发工作。长期致力于自然语言处理、图计算等领域的技术钻研，并成功推动相关产品落地。产品研发和科技创新始终紧扣“国之所需”，在人工智能的时代浪潮中，为中国电信在践行维护社会主义核心价值观中勇担责任、积极作为。

推荐阅读

国际云安全联盟CSA

国际云安全联盟（CSA）是世界领先的中立权威的国际标准组织，创立于2009年，致力于定义和提高业界对云计算和下一代数字技术安全最佳实践的认识。CSA大中华区在中国注册备案，立足于中国，在全球范围与其他国际组织、政府、高校、企业等广泛合作。

最新文章

真体验才敢说真话：听听学员与专家眼中的CCSK v5升级价值

CSA发布 | AI组织责任：核心安全责任

使用云访问凭证蜜标及时发现入侵行为

CSA大中华区携手新华网数字联合实验室，共筑数字安全新防线

从V4到V5，CCSK将AI、零信任和数据湖融入云安全实践中

CSA发布 | 大语言模型威胁分类

小米集团 | 智联未来，人车家全生态网络安全建设实践

数据安全的变革：AI和ML如何塑造下一代数据安全工具

天桥脑科学研究院 | AI驱动的脑科学研究：数据共享、开放科学与数据安全的平衡

看阿里云、京东云、移动云、腾讯云论生成式AI在云安全的应用与风险管理

观安信息丨应对生成式AI安全挑战：技术与法律的协同之路

CSA发布 | 数据分类分级实践指南2.0

天融信丨应对云原生安全威胁：构建原子化安全模块与动态策略

成员动态 | 祝贺小米集团、为辰信安加入CSA大中华区

AI时代的自我验证：如何证明‘你’依然是‘你’

CSA大中华区重磅发布《SASE神兽方阵报告》，深信服、奇安信、网宿科技等企业入围

CSA| 全球AI大模型攻防挑战赛乌镇收官，国内十强战队亮相世界互联网大会

云安全联盟多位专家入选世界互联网大会人工智能专业委员会

携手构建网络空间命运共同体：CSA携手世界互联网大会开启第二个十年

云安全认证（CCSKv5＆ACSE）项目发布 | 完善数字安全人才培养体系

CSA GCR 2024 | 深度解析大模型原生安全的系统构建

辛顿诺奖合作者邓力：现代人工智能是一场正在发生的革命

云安全联盟大中华区主席李雨航：AI 是一个成长中的小孩

互联网之父、谷歌副总裁Vinton G. Cerf | 确保数字空间的责任

第八届云安全联盟大中华区大会成功举办，云安全·AI，迎接未来

本周五召开-CSA参会指南| 第八届云安全联盟大中华区大会北京启幕

CCSKv5云安全知识认证课程介绍

以AI鉴别技术守护数字内容真实性

威胁情报在企业安全中的关键作用：攻防新策略解析

云安全新课程（CCSKv5、ACSE）即将上线！11月15日北京发布

CDSP2.0数据安全认证专家首期班圆满收官：全面更新安全能力

CSA发布 | 医疗行业变革下的治理、风险管理与合规性策略

大模型安全挑战：全生命周期的原生构建与风险应对

探索熵增视角下的云原生安全体系：从挑战到解决方案的全面解析

大会成果抢先看 | CSA大中华区20份关键领域研究报告

CSA发布 | 2024年云计算顶级威胁Top11

CDSP认证2.0全新升级，创新技术与实战案例携手，助力数据安全有效实施

中国电信AI安全优秀实践：生成式AI崛起背后的安全挑战与应对策略

《网络数据安全管理条例》解读--数字经济发展的坚强后盾

知识体系决定组织的安全高度 | 由Meta明文存储密码被罚9100万欧元引发的对数据安全人才培养的思考

即刻参与 | 2024年云安全联盟大中华区奖项评选启动！

联合国最高级别会议—未来峰会，CSA GCR成功举办行动日边会

2024 SASE神兽方阵项目调研正式启动，迎接云网安融合新趋势

Kubernetes has its “ADCS”

数据安全认证专家CDSP1.0→2.0 技能跃升行动

CSA GCR将出席联合国未来峰会开幕式，并联合主办行动日边会

CDSP 2.0数据安全认证专家课程介绍

【丰厚奖金池】外滩大会：CSA大中华区携手学界与业界，以科技竞赛推动大模型安全发展

万象AI，安全新生！CSA大中华区参加国家网络安全宣传周活动

国家网络安全宣传周 | 首个AI安全产业图谱重磅发布

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉