CCSKv5云安全知识认证首期班将在12月28-29日、1月4日（共三天）开班。
2024年12月10日，谷歌正式发布了其最新的量子芯片——Willow。这款芯片通过创新的量子错误修正技术，实现了“低于阈值”的错误率，并在随机电路采样（RCS）基准测试中，以不到五分钟的时间完成了传统超级计算机需要10^25年才能完成的计算任务。
这一突破让人不禁联想到人工智能（AI）领域的发展。正如量子计算需要通过减少错误率来实现更高效的计算能力，AI系统同样面临着快速发展的挑战——如何在复杂和动态的环境中保持系统的可靠性和韧性？这种问题不仅仅关乎技术的性能，更关乎它在实际应用中的安全性、透明性和伦理性。
云安全联盟大中华区发布《AI韧性：AI安全的革命性基准模型》报告，为这一问题提供了全新的解读和解决方案。通过引入生物进化的类比，将多样性与适应性融入AI治理模型中。报告提出，AI的韧性应包括抵抗力、复原力和可塑性，从而为政策制定者、监管机构和行业领导者提供一套全新的评价工具。
文末附报告获取方式
人工智能基本理论概述
在深入探讨AI的基础理论时，报告对治理与合规进行了清晰的界定。治理如同掌舵者，通过高层管理制定战略和风险偏好，建立政策、标准和程序来引领组织的方向；而合规则像是执行者，确保员工在各个层面遵守这些规定，以满足监管要求。
人工智能的历史
回顾AI的发展历程，我们可以看到它从最基本的计算器逐渐演变为如今的生成式人工智能（GenAI），而通用人工智能（AGI）的阶段仍在未来的地平线上。在这个过程中，不同的AI技术如机器学习（ML）、深度学习（高级ML）、tinyML和GenAI等不断涌现，为各个领域带来了创新和变革的机遇。同时，机器学习的方法也多种多样，包括监督学习、无监督学习、强化学习、半监督学习、自监督学习和联邦学习等。
机器学习的类型
真实案例研究和行业挑战
报告以几个行业为例，重点概述了人工智能时代的概况和当前面临的挑战。
微软的Tay聊天机器人原本是为了进行有趣的推特对话而设计，但在发布后短短24小时内就变成了发布种族主义和攻击性言论的平台；
亚马逊的AI招聘工具因存在性别偏见而被迫解散项目；
特斯拉的Autopilot自动驾驶系统导致了多起致命事故；
一种广泛使用的医疗算法存在严重的种族偏见，影响了数百万患者；
联合健康保险因AI缺陷拒绝为老年人提供护理；
谷歌推出的Gemini1.5聊天机器人受到了广泛批评，原因是尽管它试图避免偏见，但仍生成了不准确且具有偏见的图像。
这些案例深刻地揭示了AI偏见和不可靠性可能带来的严重后果，提醒我们在开发和应用AI时必须谨慎对待，充分考虑其可能产生的影响。
在各个行业中，AI的监管和合规都面临着独特的挑战。
汽车领域寻求在自动驾驶和无人驾驶功能（SAE4级和5级）中应用人工智能，同时特别强调此类功能以及其他车载系统和组件的安全性。目前，已有多个ISO标准提及或部分规范了人工智能，其它还有更多标准正在起草或审查中。
在教育领域，自适应学习系统、人工智能导师和预测分析等人工智能技术将根据不同的学习需求提供个性化教育。然而，由于人工智能系统涉及广泛的数据收集和处理，这种整合引发了行业内部对隐私和数据保护的担忧；
在医疗领域，区分ML（机器学习）和GenAI（生成式人工智能）至关重要。由于ML仅针对特定任务，因此可以在更大程度上确保其安全性，而医疗保健领域的GenAI会与不同的利益相关者互动，并在可靠性、安全性、隐私以及防止误用和/或故意滥用的措施等方面带来重大挑战。
为了应对这些挑战，报告提出了AI韧性的概念。在生物进化中，新特征需要经过性能和韧性的测试才能生存下来，同样，AI的韧性及其基准也是其在现实世界中成功应用的关键。
AI韧性的重构，受进化论启发的基准模型
…
CSA对人工智能韧性的定义：
AI韧性包括系统的抵抗力、复原力和可塑性。AI抵抗力反映了系统在面临入侵、操纵、误用和滥用时保持所需最低性能的能力；AI复原力侧重于在发生事件后恢复到所需最低性能所需的时间、能力和容量；AI可塑性作为系统的指标，表明其对“成败”的容忍度，并在系统故障的情况下允许快速行动，或允许AI韧性不断提高。
人工智能应用的误用、滥用和事故急剧增加，人工智能使用案例表明，尽管有管理和降低风险的意识，但事故还是时有发生。然而，由于人工智能的评判标准不明确，将人工智能纳入质量管理体系以控制、改进、纠正和预防行动和/或风险具有挑战性。在受监管的行业中，第三方评级将提高人工智能验证之外的安全性，目前人工智能的相关验证是在“适合使用”的前提下进行的。
…
人工智能韧性评分标准：
为了评估AI韧性，报告建议采用一个从0到10的评分系统，该系统考虑了AI的三个支柱（抵抗力、复原力和可塑性）。三大支柱得分的分布可以反映不同人工智能系统的多样性。这样，在结合不同的人工智能系统时，就能更明智地评估风险并采取相应的措施。
报告还指出，政策制定者、风险管理者、监管机构和政府的关注重点必须优先考虑人工智能的抗灾能力，而不是性能方面，并奖励朝此方向迈出的任何一步，促进多样化的解决方案，以增加人工智能的多样性。
《AI韧性：AI安全的革命性基准模型》报告为行业提供了一种全新的视角，即在追求性能的同时，注重系统的韧性。这不仅是对AI技术发展的保障，更是对社会和用户的责任。CSA将继续致力于推动AI治理与合规的研究与实践。我们期待通过AI韧性模型的推广，与各行业共同迈向更加安全、可信赖的数字未来。
课程推荐
人工智能安全认证专家(Certified Artificial Intelligence Security Professional，CAISP)认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。
CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。
致 谢
启明星辰集团成立于1996年，由留美博士严望佳女士创建，2010年在深圳A股中小板上市，是网络安全产业中主力经典产业板块的龙头企业，是新兴前沿产业板块的引领企业，是可持续健康业务模式和健康产业生态的支柱企业。2024年1月，启明星辰正式由中国移动实控，成为中国移动专责网信安全专业子公司，标志着公司迈入全新的发展阶段。多年来，启明星辰持续深耕于信息安全行业，始终以用户的需求为根本动力，将场景化安全思维融入到客户的实际业务环境中，不断地进行创新实践，帮助客户建立起完善的安全保障体系，逐渐成为政府、金融、能源、运营商、税务、交通、制造等国内高端企业级客户的首选品牌。启明星辰入侵检测/入侵防御、统一威胁管理、安全管理平台、数据安全、运维安全审计、数据库安全审计与防护、漏洞扫描、工业防火墙、硬件WAF、托管安全服务等十余款产品持续多年保持第一品牌。
参与本次报告的专家：
张镇、郭春梅、卞超轶、杨天识、沙明烊
解读文章作者：
郭春梅博士
关注公众号，回复关键词“AI韧性”
即可获取报告完整版
推荐阅读
