《人工智能安全治理框架》要点
文摘
2024-09-09 19:00
上海
9月9日，在2024年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会（以下简称“网安标委”）发布《人工智能安全治理框架》1.0版。该框架按照风险管理的理念，紧密结合人工智能技术特性，分析人工智能风险来源和表现形式，针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险，提出相应技术应对和综合防治措施，以及人工智能安全开发应用指引。（一）包容审慎、确保安全：鼓励创新，同时对可能危害国家安全、社会公共利益、公众合法权益的风险采取预防和应对措施。（二）风险导向、敏捷治理：紧密跟踪AI技术发展趋势，动态调整治理策略，以快速响应安全风险的变化。（三）技管结合、协同应对：结合技术手段和管理措施，明确各参与方在AI研发和应用中的安全责任，形成有效的治理机制。（四）开放合作、共治共享：推动国际合作，共享最佳实践，建立开放性平台，形成全球共识的治理体系。
二、人工智能安全治理框架构成
（一）安全风险方面：识别AI技术本身及其应用过程中的安全风险，包括技术缺陷、不当使用等。（二）技术应对措施方面：提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升AI产品的安全性。（三）综合治理措施方面：推动政府、企业、社会等多方参与，形成协同共治的治理体系。（四）安全开发应用指引方面：为AI研发者、服务提供者、使用者等提供安全指导规范，确保AI技术的安全可靠应用。三、人工智能安全风险分类
1、模型算法安全风险：包括可解释性差、偏见歧视、鲁棒性弱、被窃取篡改、输出不可靠、对抗攻击等。2、数据安全风险：涉及违规收集使用数据、训练数据含不当内容、数据标注不规范、数据泄露等。3、系统安全风险：包括缺陷后门、算力安全、供应链安全等。1、网络域风险：信息内容安全、混淆事实误导用户、不当使用信息泄露、滥用于网络攻击、模型复用缺陷传导等。2、现实域风险：诱发传统经济社会安全风险、用于违法犯罪活动、两用物项技术滥用等。3、认知域风险：加剧“信息茧房”效应、用于开展认知战等。4、伦理域风险：加剧社会歧视偏见、挑战传统社会秩序、未来脱离控制等。四、技术应对措施
1、提高AI可解释性、可预测性，明确系统内部构造和输出结果的推理逻辑。2、建立安全开发规范，消除模型算法的安全缺陷和歧视性倾向，提高鲁棒性。1、遵循数据收集使用的安全规则，保护用户控制权、知情权、选择权。3、严格筛选训练数据，确保数据的真实性、准确性、客观性和多样性。1、提高AI系统的透明性，对输出内容进行明晰标识。2、加强算力平台和系统服务的安全建设、管理、运维能力。
五、综合治理措施
（一）实施分类分级管理：根据功能、性能、应用场景等对AI系统分类分级，建立风险等级测试评估体系。（二）建立追溯制度：对AI服务进行标识管理，制定生成合成内容标识标准，全面覆盖关键环节。（三）完善数据安全和个人信息保护规范：针对AI技术及应用特点，明确数据安全和个人信息保护要求。（四）构建负责任的AI研发应用体系：推进AI设计、研发、应用的价值观、伦理观对齐。（五）强化供应链安全保障：推动共享AI知识成果，增强供应链来源多样性。（六）推进可解释性研究：提高AI系统的透明度、可信度、纠错机制。（七）建立风险威胁信息共享和应急处置机制：跟踪分析AI安全漏洞、缺陷、风险威胁，建立通报和共享机制。（八）加大安全人才培养力度：加强AI安全设计、开发、治理人才的培养。（九）安全宣传教育、行业自律、社会监督机制：提高全社会AI安全意识，加强行业自律，建立社会监督氛围。（十）国际交流合作：与各国就AI安全治理开展合作交流，推进多边机制下的合作。
六、人工智能安全开发应用指引
1、在关键环节践行科技伦理规范，重视数据安全和个人信息保护。2、确保模型算法训练环境的安全性，包括网络安全配置和数据加密措施。3、评估模型算法潜在偏见，加强训练数据内容和质量的抽查检测。4、结合目标市场适用法律要求和风险管理要求，评估AI产品和服务能力成熟度。1、公开AI产品和服务的能力、局限性，支持使用者行使监督和控制责任。2、提高风险防范意识，建立健全实时风险监控管理机制。3、将AI系统运行中发现的安全事故、安全漏洞及时向主管部门报告。1、审慎评估AI技术的应用影响，加强风险防范意识与应对处置能力。2、合理限制AI系统对数据的访问权限，制定数据备份和恢复计划。3、确保操作符合保密规定，在处理敏感数据时使用加密技术等保护措施。1、提高对AI产品安全风险的认识，选择信誉良好的AI产品。2、了解产品的数据处理方式，避免使用不符合隐私保护原则的产品。3、关注网络安全风险，避免AI产品成为网络攻击的目标。
七、附录
提供了安全风险与技术应对措施、综合治理措施之间的映射表，帮助理解不同风险类别与相应措施的对应关系。
![]()
数据何规
个人信息保护、网络、数据安全及AI治理。
