2024年11月1日，2024 TechWorld智慧安全大会在北京成功举行。中国科学院冯登国院士在大会上发表了《人工智能安全：思考与认识》的主题演讲。他指出，人工智能（AI）已成为网络空间安全发展的关键变量。AI技术不仅带来了其自身的安全问题和应用中的新安全挑战，同时也赋能网络空间安全，为攻防体系提供了全新工具和资源。
在攻击领域：AI赋能显著提高了攻击技术的精准性、效率和成功率。通过深度学习，攻击者能够生成具备更强免杀性和持久性的恶意代码，提升对攻击目标的识别和打击精度，并推动僵尸网络的规模化和自主化。此外，AI技术在目标侦察、漏洞挖掘等方面加速了自动化进程，实现了智能化的网络渗透和对用户隐私的深度挖掘。
在防御方面：AI技术有效提升了威胁检测和响应的能力与水平。AI不仅能克服人性弱点，还增强了对以人为突破口的攻击的防御能力，为网络空间安全提供了更强大的防护手段。
01.
全面构建人工智能安全体系框架
人工智能技术已从单一算法阶段发展至软硬件与应用场景深度融合的一体化阶段。传统安全技术聚焦于算法层面，但难以匹配当前需求。AI的全方位发展在应用和部署的各层面带来了新的安全风险，且随着算法不断迭代，传统的安全分析技术难以适应。AI安全框架应包括政策法规与标准规范、合规性审查与安全性测评，涵盖场景化应用服务安全、数据与算法模型安全以及基础软硬件安全。场景化应用服务用于应对恶意软件检测和社会安全问题，数据与算法模型的安全则关注隐私性、可靠性、公平性及可解释性，基础软硬件安全聚焦于供应链安全。
02.
人工智能的主要安全风险
冯登国院士分析指出，人工智能特别是大模型的广泛应用带来了多重安全风险：
03.
面向人工智能安全的多维应对策略
为应对人工智能特别是大模型的安全风险，冯登国院士提出多项策略措施：
