随着大语言模型（LLM）技术的飞速发展，LLM已经成为推动人工智能技术创新和业务转型的关键力量。从自然语言理解、生成到智能问答，LLM的应用正在深刻影响各行各业。然而，随着LLM应用的广泛推广，安全、隐私保护和合规性等问题也逐渐浮出水面，给全球范围内的数字生态带来了前所未有的挑战。
为应对这些挑战，CSA大中华区发布《大语言模型威胁分类》报告，旨在为行业提供一个全面的风险管理框架，帮助各行业识别、评估和管理LLM应用过程中可能遇到的风险。
文末附报告获取方式
《大语言模型威胁分类》报告详尽地分析了LLM的关键资产、服务生命周期、影响类别和威胁类别，为政策制定者、技术专家和行业决策者提供了一个清晰的理解和应对LLM相关风险的框架。报告的主要内容包括LLM资产的分类，详细描述了从数据资产到模型参数的各个方面；LLM服务生命周期的管理，涵盖了从准备到退役的各个阶段；以及LLM服务的影响和威胁类别，包括数据泄露、模型操纵、供应链安全等关键领域。
该报告涵盖了以下几个方面：
LLM资产分类与定义
报告首先定义了实施、管理大语言模型（LLM）系统所必需的基础组件，涵盖了从模型训练、微调过程中重要的数据到确保AI系统完美部署和操作的复杂运维环境。同时，报告也对LLM的必要性、架构、性能和优化技术作出了进一步阐述。
大语言模型资产
LLM服务生命周期管理
报告详细概述了LLM服务的不同生命阶段，每个阶段都对服务的效率、可靠性以及整个生命周期至关重要。从构想和规划的筹备阶段到最终的归档和处置阶段，每个阶段都被纳入一个综合框架，该框架旨在改善服务交付以及保障需求和标准的一致性。组织可以通过这种结构化方法清晰有效地管理服务开发、评估、部署、交付和退出。
报告对LLM服务生命周期各个阶段进一步细分，并给出了相关术语的定义。
准备：
| 开发：
|
评估/确认：
| 部署：
|
交付：
| 服务退出：
|
威胁类别与影响分析
报告将影响类别直接对应到已经确立的CIA安全三要素（机密性、完整性和可用性）上。此外，根据NIST文件AI 100-2 E2023，还可以增加“滥用/误用”和“隐私丧失”这两个新的影响类别。
以下是对LLM相关风险的概括分类：
机密性：存在这样一种风险，即LLM的数据、模型本身或其生成的输出可能会被泄露给未授权的个人，这涉及到敏感信息，可能包括个人数据、商业秘密或其他机密材料。
完整性：存在LLM的数据或其生成的输出被恶意或意外地修改或损坏的风险，这可能导致结果不正确或具有误导性。
可用性：对LLM操作可能存在遭受干扰的风险，导致用户在关键时刻无法访问。这些干扰可能包括服务拒绝攻击、系统故障、意外停机、过高的计费限额或计算资源不足等情况。
大语言模型服务威胁分类
大语言模型服务威胁分类的初始列表涵盖一系列需要重点考虑并缓解的潜在风险和漏洞。每个类别都代表一个独特的挑战，可能会损害大语言模型服务的完整性、安全性和有效性。具体分类如下：
1. 模型操纵
2. 数据投毒
3. 敏感数据泄露
4. 模型窃取
5. 模型故障/失灵
6. 不安全的供应链
7. 不安全的应用程序/插件
8. 拒绝服务（DoS）
9. 缺少治理/合规性
报告为大语言模型(LLM)的风险场景和威胁相关的关键术语建立了通用的分类和定义。这一成果旨在促进业界的深入沟通与交流，确保在CSA AI安全计划的指导下，我们能够更系统、更科学地识别和应对LLM带来的挑战。
课程推荐
人工智能安全认证专家(Certified Artificial Intelligence Security Professional，CAISP)认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。
CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。
致 谢
中国移动云能力中心，注册名称为中移(苏州)软件技术有限公司，是中国移动通信集团于2014年3月在苏州成立的全资子公司。云能力中心主要承担中国移动云的技术研发、资源建设、业务运营、服务支撑等相关业务，自研了弹性计算、数据库、云存储、云网络、云安全等200余款覆盖云计算全产业链的产品，产品丰富度行业第二，为全国的工业、政务、医疗、教育、交通、金融等行业提供云计算、大数据及各类信息化解决方案。
中国移动云能力中心是CSA理事单位，支持该报告内容的翻译，但不影响CSA研究内容的开发权和编辑权。
参与本次报告的专家：
王浩硕、赵玲玲、付怀勇、李雨含、薛四青、吴云飞
关注公众号，回复关键词“大模型”
即可获取报告完整版
推荐阅读
