9月12日，CSA大中华区在国家网络安全宣传周成都系列活动上正式发布《AI安全产业图谱（2024）》。这是CSA大中华区首次对国内AI安全生态进行广泛深入的调研，图谱得到了超过100家单位的参与，为快速发展的AI行业提供了重要的安全指引。
CSA大中华区主席李雨航（左）和百度副总裁陈洋（右）现场共同发布图谱
AI安全产业图谱图谱概况
声明：本图谱仅收录参与调研且符合要求的单位
《AI安全产业图谱（2024）》在调研过程中，得到了包括百度、腾讯、京东、蚂蚁集团、移动、联通等互联网及云厂商，浙江大学、西安交通大学、华东师范大学等高校以及奇安信、深信服、天融信、启明星辰等安全企业，以及众多初创企业的积极参与。图谱最终成功收录了164项来自AI与安全相关单位的产品、技术、解决方案或科研成果。
根据调研结果，并结合“AI+安全”相关的产业生态特点，本次图谱共分为四个大类，18个小类。其中四个大类分别是：AI内生安全、AI赋能安全、AI安全服务、AI安全研究。涵盖了AI技术原生的安全需求、AI技术对安全产业赋能的重要作用，以及AI在安全服务以及相关研究工作的市场空间及业务需求。具体分类如下：
大类 | 小类 |
AI内生安全 | |
模型安全 | |
供应链安全 | |
AI赋能安全 | 威胁检测与响应 |
身份认证和行为分析 | |
反欺诈与风险控制 | |
恶意行为检测 | |
安全托管服务（MSS） | |
AI SecOps | |
数据安全 | |
AI安全服务 | 安全咨询 |
安全培训 | |
评估/审计/认证/测评 | |
AI安全研究 | AI安全标准制定 |
AI前沿技术研究 | |
创新技术应用及成果转化 | |
AI伦理与合规治理 | |
隐私保护 |
调研数据分析
此次调研分析了参与单位的反馈和市场数据，揭示了AI安全产业的关键发现、现状和趋势预测，在AI安全领域在技术和应用层面有多个关键发现：
主要发现 01
AI技术在网络安全领域的应用集中在威胁检测、响应和行为分析等方向
在CSA AI安全产业图谱中，AI赋能安全类别共有101个单位入选，占比超过61.6%。这一类别中的细分领域如威胁检测与响应、恶意行为检测、反欺诈与风险控制、AI SecOps等，展示了AI技术在网络安全中的广泛应用。
在威胁检测与响应小类中，共有30家单位入选，占比18.3%，这些单位通过利用AI技术实现实时的威胁识别与快速响应，推动了网络安全防护的自动化与智能化进程；恶意行为检测小类中，有15家单位入选，占比9.2%，安全厂商越来越重视通过AI技术检测潜在的恶意行为，提前预警和阻止攻击行为；反欺诈与风险控制小类中，8家企业入选，占比4.9%，AI在金融、电子商务等高风险行业中，对欺诈检测和风险控制的关键作用。
主要发现 02
大模型安全成为AI安全领域的重点关注
在AI内生安全共有31家单位入选，占比18.9%。其中模型安全类中的14家单位在保护模型免受攻击方面尤其突出，通过提供对抗性攻击防御、模型窃取保护、以及算法加固等技术，帮助大模型使用方增强其应用的安全性和可信度。入选的单位如腾讯云、百度、蚂蚁集团、西安交通大学等，已有成熟的技术解决方案，以应对大模型应用中的潜在安全风险。
主要发现 03
AI安全服务的增长空间依然巨大，现有服务提供有限
根据调研数据显示，目前提供AI安全服务的单位比例较低，仅有13家单位提供安全咨询、培训及评估/审计服务。虽然AI技术的快速发展带来了对安全服务的需求，但目前服务提供的多元化和广泛性仍处于起步阶段。尤其是在评估与认证领域，相关服务的提供者还比较少。
主要发现 04
AI安全市场正在趋向专业化和细分化
调研发现，解决方案提供方更多地将人工智能技术用于升级现有的安全产品和能力，专门为大模型安全进行产品研发的企业目前仍相对较少。此外，一些初创公司和创新产品正在涌现。Agent类产品在“用人工智能对抗人工智能”的安全理念推动下，开始进入网络安全行业的视野。这种细分化趋势不仅体现在技术创新上，也体现在市场需求的变化中。大模型安全、AI赋能的威胁检测与响应、反欺诈与风险控制等垂直领域逐渐成为焦点，厂商通过提供针对性强的定制化产品与服务，满足不同行业和企业的需求。
主要洞察
本次调研结果显示，人工智能安全产业生态是一个多维度、跨领域的系统，涵盖了技术创新、行业应用、安全评估和人才培养等多个方面。当前AI安全的核心需求和方向体现在以下几方面：
AI内生安全：筑牢技术防线
AI内生安全是指AI技术的脆弱性、对数据的依赖性等自身缺陷原因而带来的问题。调研数据显示，13家单位关注数据安全，相关厂商提供包括数据加密、数据访问控制、联邦学习等技术。同时，15家单位在模型安全方面提出了解决方案，模型安全的重要性体现在应对对抗性样本攻击、确保模型鲁棒性以及保护算法的独特性。对于供应链安全，共有7家单位参与，企业用户侧对AI技术所依赖的软硬件供应链的安全管理开始重视。
数据安全：面对数据投毒、抗样本攻击等威胁，企业需积极采用联邦学习、可信执行环境（TEE）和安全多方计算等前沿技术，确保模型训练与推理过程中的数据安全。这些技术不仅能有效隔离敏感数据，还能在保护隐私的前提下实现数据共享与协同计算，为AI应用提供坚实的数据安全保障。
模型安全：保护机器学习模型和算法免受对抗性攻击、窃取等风险，是AI安全的核心任务。企业需构建包括对抗性攻击防御、模型鲁棒性测试、算法加固在内的全方位防护体系，同时提升算法的透明度和可解释性，增强用户对AI决策的信任。
供应链安全：AI系统的硬件和软件供应链安全同样不容忽视。企业应加强对供应链的风险管理，选择经过严格安全评估的组件和服务，确保AI系统的整体安全性。
AI赋能安全：AI驱动防护升级
AI赋能安全是指人工智能技术应用可以提升网络安全防御的智能化水平，在网络安全防御中得以应用。调研数据显示，AI技术在网络安全领域的广泛应用主要集中在威胁检测与响应、恶意行为检测、AI SecOps等方向，共有101家单位入选，这些解决方案致力于通过AI提升网络安全的实时监控、响应和预测能力。
威胁检测与响应：基于AI的威胁检测与响应系统能够实时分析网络流量、日志等数据，快速识别并响应安全威胁，显著提升企业的安全防护能力。
身份认证与行为分析：利用AI技术进行身份鉴别和行为分析，能够有效防止未经授权的访问和恶意行为。生物识别、行为模式识别等技术的应用，使得身份认证更加精准，行为分析更加智能。
反欺诈与风险控制：AI在交易监控、欺诈预防和风控分析领域的应用，能够大幅提升金融机构、电商平台等企业的风险防控能力，减少经济损失。
AI安全服务：构建专业支持体系
安全咨询与培训：专业的AI安全咨询和培训服务，能够帮助企业制定科学合理的安全战略和规划，提升员工的安全意识和技能水平。
评估/审计/认证/测评：通过专业的评估、审计、认证和测评服务，企业可以全面了解自身AI系统的安全状况，及时发现并修复安全漏洞。
AI安全研究：引领技术创新与标准制定
标准制定与前沿研究：行业内外应共同努力，制定具有广泛影响力的AI安全标准和规范，推动AI安全技术的标准化和规范化发展。同时，加强AI安全领域的前沿技术研究，不断探索新的安全防护手段。
创新技术应用及成果转化：鼓励产学研用深度融合，促进AI安全研究成果的转化和应用。通过建设产业研究院所、创新机构等平台，加速AI安全技术的产业化进程。
伦理与合规治理：在AI快速发展的同时，必须高度重视伦理和合规问题。企业应积极研究并遵守相关法规和标准，确保AI技术的健康发展和社会责任。
隐私保护：在AI应用中，个人隐私保护至关重要。企业应尊重用户隐私权益，采用隐私增强的技术和算法，确保个人数据的合规使用。
AI安全是一个复杂而多维的课题，需要政府、企业、学术界和公众等多方共同努力。企业在人工智能安全领域应采取的行动建议可概括为：
加强长期安全战略规划与投入，积极采纳前沿安全技术如联邦学习、对抗性训练等以提升防护能力； 完善供应链安全管理体系，确保硬件软件安全； 强化威胁检测与响应机制，注重身份认证与行为分析； 深化反欺诈与风控措施；针对物联网安全制定专项策略； 积极参与行业合作，关注伦理与合规； 持续提升员工安全意识与技能，共同构建坚实的人工智能安全防线。
未来展望
未来，人工智能安全产业生态将朝着更加多元化、专业化和系统化的方向迈进。随着技术的不断创新与应用的深入，AI安全产业将面临更多复杂且严峻的挑战。未来的AI安全生态不仅需要涵盖技术创新，还需在行业应用、安全评估、合规治理、以及人才培养等多个层面持续发展，以应对快速变化的安全需求。
随着大模型技术的广泛应用，模型安全、数据隐私、算法透明性等问题将继续成为业界关注的重点。AI安全解决方案也将不断细化和专业化，行业将进一步推动针对不同应用场景的定制化安全产品和服务。
致 谢
由CSA大中华区AI安全工作组专家调研、评审完成，感谢以下专家的贡献：
黄磊、王维强、崔崟、刘广坤、张淼、郭鹏程、杨天识、杨喜龙、崔世文、卞超轶、罗智杰
关注公众号，回复关键词“图谱”
即可获取完整图谱内容
推荐阅读
