你的手机里住着多少个“AI应用”？当你正在使用一款智能手机应用程序，它能够通过AI技术为你提供个性化的服务时，是否曾想过，这些服务背后所依赖的AI模型是如何被训练和保护的？随着AI技术的广泛应用，数据泄露、模型偏见、算法透明度不足等问题逐渐浮现，这些问题不仅威胁到个人隐私，也可能对社会公正产生负面影响。
在这样的背景下，CSA大中华区发布《AI组织责任：核心安全责任》白皮书，深入探讨了AI和机器学习系统开发和部署中在信息和网络安全方面的组织责任。白皮书综合了专家推荐的核心安全领域的最佳实践，包括数据保护机制、模型漏洞管理、机器学习运营（MLOps）流水线强化以及负责任地训练和部署人工智能的治理政策。
文末附报告获取方式
白皮书采用可量化的评估标准、RACI（执行、负责、咨询、知情）角色定义模型、高层实施策略、持续监控和报告机制、访问控制映射以及对基本准则的遵循，逐一分析了各项责任。这些内容基于行业最佳实践和标准，如NIST AI RMF、NIST SSDF、NIST 800-53、CSA CCM等。
白皮书中讨论的要点包括：
人工智能正在从以复杂模型为中心的方法转向以数据为中心的方式。人工智能现在不再主要依赖于在小数据集上训练的复杂模型，而是利用海量数据集和开放式数据流。然而，这种以数据为中心的模式也引发了人们对数据隐私、安全、偏见和适当使用的合理担忧，人工智能公司必须负责任地解决这些问题。数据正在改变人工智能，但我们必须确保它是合乎伦理和受控的。
白皮书首先讨论了与确保人工智能组织中培训数据的安全性和隐私性相关的重要类别。这些类别包括数据真实性、匿名/假名化、数据最小化、数据访问控制和安全存储与传输。每个类别都通过可量化的评估标准、通过RACI模型明确界定的责任、高级实施策略、持续监控和白皮书机制、访问控制映射以及基于行业最佳实践的基本框架进行了彻底分析。这种全面的方法确保了一个结构化、负责任和高效的框架，用于管理推动人工智能进步的重要资产，同时也符合道德要求和卓越运营。
模型安全是一项多方面的任务，包括各种各样的组件。这些包括对模型API的访问控制、身份验证和授权框架、速率限制、模型生命周期管理、安全的模型运行环境、基于硬件的安全功能、网络安全控制、操作系统强化、安全配置，以及容器和云安全。我们应该探索这些关键领域中的每一个评估标准，基于RACI模型分配责任，描绘高层实施策略，建立持续监控和报告机制，配置访问控制，并参考NIST AI RMF、NIST SSDF、NIST 800-53和CSA CCM等标准中的基本准则。
以安全模型部署这一点作为示例说明，完整内容请阅读白皮书原文。安全模型部署涉及一系列实践，以确保部署过程安全、可控并符合组织标准。
具体内容包括4个方面：
灰度发布
灰度发布是一种用于将新机器学习模型引入生产环境时最小化风险的技术，即在广泛部署新ML模型之前，先逐步向一小部分用户推出。这种技术能够让团队在实际数据和用户交互的真实环境中测试和监控模型的性能，但规模有限。
评估标准：通过成功率和这些初始部署中问题的检测来监控灰度发布的有效性性。
RACI：
🔸执行：DevOps团队
🔸负责：人工智能运营主管或首席技术官
🔸咨询：质量保证（QA）团队
🔸告知：产品管理团队
高级实施策略：将灰度发布作为部署过程中的一个步骤，在实际环境中逐步测试模型。
持续监控和白皮书：对灰度发布进行实时监控，以快速识别和解决问题。
访问控制映射：确保只有指定的团队成员可以启动和监控灰度发布。
基础框架：遵循NIST SSDF和NIST 800-53的部署指南。
蓝绿部署
蓝绿部署是软件部署（包括机器学习模型的部署）中的一种策略，通过运行两个相同的生产环境（称为“蓝色”和“绿色”）来减少停机时间和风险。这种方法在机器学习中特别有用，因为部署新模型会对应用程序性能和用户体验产生重大影响。
评估标准：根据部署过程中过渡的顺利程度和停机时间来评估部署策略。
RACI：
🔸执行：IT运营团队
🔸负责：首席技术官（CTO）
🔸咨询：DevOps团队
🔸告知：最终用户
高级实施策略：采用蓝绿部署策略，以减少与部署新模型相关的停机时间和风险。
持续监控和报告：持续监控蓝色和绿色环境的性能和问题解决方案。
访问控制映射：管理对两个环境的访问控制，确保安全性和完整性。
基础框架：利用NIST相关指南中的最佳实践。
回滚功能
在机器学习模型的环境中，回滚功能是指当新部署的模型表现出意外行为、性能不佳或导致其他问题时，在生产环境中回退到ML模型的先前版本或检查点的过程。这是部署策略的一个关键方面，即使新模型未能达到预期，也能确保系统的稳定性和性能。
评估标准：在需要时，通过回滚的速度和成功率来衡量有效性。
RACI：
🔸执行：部署团队（DevOps团队）
🔸负责：人工智能运营主管或首席技术官
🔸咨询：IT支持团队
🔸告知：商业利益相关者
高级实施策略：确保部署过程包括高效的回滚功能，以便在必要时恢复到以前的版本。
持续监控和报告：监控部署以快速检测需要回滚的问题。
访问控制映射：控制对回滚工具和过程的访问。
基础框架：与CSA CCM和其他安全框架保持一致。
模型退役
模型退役是指从活动生产环境中安全、系统地删除机器学习模型的过程。当模型过时，被更高级的版本取代，或者不再满足不断发展的业务需求或合规标准时，模型退役过程变得至关重要。退役是机器学习模型生命周期管理中的关键步骤，以确保过时的模型不会危及系统的完整性或效率。
评估标准：通过正确处理报废模型的百分比和遵守报废协议来评估这一过程。
RACI：
🔸执行：人工智能维护团队（DevOps）
🔸负责：数据治理官或首席技术官
🔸咨询：法律与合规团队
🔸告知：人工智能开发团队
高层实施策略：制定明确的程序，安全地停用过时或冗余的AI模型，确保数据得到安全处理。
持续监控和白皮书：实施监控以确保正确遵循报废流程。
访问控制映射：限制对报废工具和数据的访问。
基础框架：遵循NIST AI RMF和其他相关指南的报废实践。
白皮书还特别强调了漏洞管理的重要性。在AI系统的整个生命周期中，漏洞管理是确保系统安全性的关键。白皮书提出了一系列措施，包括维护AI/ML资产清单、持续进行漏洞扫描、基于风险的优先级排序、跟踪修复工作、处理异常情况以及建立白皮书指标。这些实践使组织能够主动识别和解决漏洞，最小化安全漏洞的潜在风险。
以关键项目之一的AI/ML资产清单为例进行介绍，完整内容请阅读白皮书原文。
AI/ML资产清单系统的记录和更新AI/ML环境中的所有资产。这不仅包括模型和数据集，还包括API、算法、库以及在创建、培训和部署软件供应链的AI/ML组件时使用的任何支持软件或工具。该清单清晰地展示了正在使用的资源，这对于识别潜在漏洞和有效管理风险至关重要。根据机器学习系统的不同，使用的资产清单可以是模型卡、数据卡和模型注册表的格式。了解存在哪些资产以及它们是如何相互关联的，对于识别潜在的漏洞至关重要。
评估标准：AI/ML资产清单的有效性是通过其全面性和更新的规律性来衡量的。全面的清单涵盖了AI/ML环境的各个方面，没有遗漏任何组件。更新的频率同样重要，确保清单反映了AI/ML生态系统的当前状态，包括开发的任何新模型、获取的数据集或软件环境的变化。
RACI：
🔸执行：IT运营团队（或DevOps团队）负责清单的日常管理和更新。
🔸负责：首席信息官（CIO）或首席技术官（CTO）监督流程，确保清单得到准确维护，并在漏洞管理中得到有效使用。
🔸咨询：AI/ML开发团队提供必要的见解和信息，以确保清单保持最新且具有相关性。
🔸告知：高级管理层了解AI/ML资产的状态和健康状况，从而能够在更高级别做出明智的决策。
高层实施策略：应制定计划，定期审查并更新AI/ML资产清单。这可以自动化工具来实现，即：跟踪AI/ML环境变化并提醒负责团队更新清单。该过程还应包括定期审计，以确保准确性和完整性。
持续监控和白皮书：实施实时监控系统有助于快速识别AI/ML资产的变化。这可以包括新模型部署、现有模型更新、数据集变更或软件环境更改。持续监测有助于维护最新的清单，这对有效的漏洞管理至关重要。
访问控制映射：限制对AI/ML资产清单的访问对于维护其完整性和保密性至关重要。访问权限应仅限于授权人员，根据他们与清单交互的需要，不同角色有不同级别的访问权限。
基础准则：遵守NIST AI RMF（风险管理框架）等框架，确保AI/ML资产清单的管理符合行业最佳实践和监管要求。这些框架提供了有效编目和管理AI/ML资产的指导方针，有助于制定强有力的漏洞管理策略。
本白皮书探讨了组织在开发和部署人工智能和机器学习系统时必须承担的核心安全责任。通过关注数据安全、模型安全和漏洞管理，我们描绘了一个全面的框架，以确保人工智能系统在其整个生命周期内的安全性、隐私性和完整性。
通过采用白皮书中概述的建议和最佳实践，组织可以为安全和负责任的人工智能开发和部署奠定坚实的基础。然而，我们必须认识到，人工智能安全是一个持续的过程。随着技术和威胁的发展，需要不断的监控、适应和改进。随着组织为应对人工智能采用的复杂性措施，在包括管理层、技术团队、治理机构和最终用户在内的所有利益相关者之间塑造安全协作的文化至关重要。通过共同努力并遵守相关原则和实践，组织可以释放人工智能的变革潜力，同时确保所有利益相关者的安全、隐私和信任。
人工智能安全认证专家(Certified Artificial Intelligence Security Professional，CAISP)认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。
CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。
致 谢
联通（上海）产业互联网有限公司于 2018 年 3 月成⽴，注册资金 10000 万元，是中国联通在上海市成立的具有独立法人资格的全资子公司。公司积极顺应国家推动经济社会数字化、智能化发展的要求，正确认识和把握内外部科技发展环境新变化，坚持把创新作为引领发展的第⼀动力，聚焦 5G 时代发展的新机遇，以科技赋能差异化竞争与高质量发展。公司通过整合 5G、⼈工智能、大数据、ICT、IDC、云计算、物联网等能力，聚焦电子政务、工业互联网、智慧教育、智慧城市、智慧民⽣、文旅、交通物流、新商业等重点领域，为政府和各⾏各业客户提供从智能连接、云平台到大数据应用的个性化解决方案和集成运营⼀站式服务。2023 年公司总收入 6.4 亿元，净利润为 7415 万元。2023年从业人员总数为432人，其中研发人员近70%。全面承接生活数字化转型重点场景建设，标杆项目先行先试，形成示范效应，全面参与上海城市升级、产业升级，是上海建设智慧城市的领跑者之⼀。
参与本次报告的专家：
朱奕健、李亚杰、吴振宏、沈爽
关注公众号，回复关键词“AI责任”
即可获取报告完整版
推荐阅读
