11月1日，以“无界BOUNDLESS · 数织未来AI同行”为主题的2024 TechWorld 智慧安全大会在北京召开。中国工程院院士邬江兴出席并发表题为《如何让AI应用系统安全向善》的主题演讲。
01.
AI系统安全问题思考与剖析
邬江兴谈到，当前AI有着极其丰富的应用空间，但也带来了前所未有的挑战。从AI应用系统的安全问题出发，AI应用系统可以分成两部分，即大模型和具体算法、运行环境。邬江兴把AI应用系统安全问题分成非内生的和内生的，并表示，其核心是内生安全的问题。内生安全根据目标对象的不同又可分为个性化问题、共性化问题。
根据黑格尔的自在性矛盾原理(Hegel's Principle of Contradiction)和哥德尔不完备定律(Gödel's Incompleteness Theorems)，任何技术系统都不可能设计出数学意义上的“当且仅当”功能集合。网络内生安全问题不可能彻底消除。
AI运行环境必定要运用存储程序控制机理以及软硬件构件，因而网络内生安全问题不可避免。模型设计、训练、推理各阶段依赖的软硬件系统均存在基于漏洞后门等内生安全问题的威胁破坏。
邬江兴指出，网络内生安全问题全面挑战当今数字生态系统底层驱动范式。可信计算、区块链、零信任等所有加密/认证类的算法或体制机制，如果没有安全的软硬件实现系统 --- 受信任执行环境（TEE），仅仅是算法可信永远实现不了可信应用系统。
02.
AI运行环境内生安全问题解决之道
邬江兴在演讲中谈到，“我们推导出内生安全存在性定理，这是科学新发现，内生安全有第一、二定理和两个引领构成，这个是大家都认同的。根据这样一个定理我们发明了绿色安全构造，叫动态异构冗余DHR。内生安全构造有效性建立在必要多样性定律 & 相对正确公理基础上，内生安全不依赖基于先验知识和加密类技术的传统网络安全防御范式。”
内生安全存在性猜想
如果能将复杂的广义不确定扰动问题变换为DVR域内差模或有感共模形式表达的安全事件，则内生安全在原理上也许可以成立。
广义不确定扰动问题
已知或未知安全问题
随机或不确定安全问题
人为或非人为安全问题
功能安全或网络安全或信息安全二者或三者交织问题
内生安全存在性定理 - 科学新发现
内生安全第一定理
内生安全第二定理
有记忆信道随机性引理
非随机噪声有记忆信道随机性引理
“构造决定的内生安全”能为AI应用系统数据采集、模型训练、模型推理应用等各阶段提供高可用、高可靠、高可信三位一体的“受信任执行环境--TEE”。
03.
AI算法模型个性化安全问题
谈到人工智能存在的内生安全个性问题，即算法安全基因缺陷，邬江兴将其背后的原因归纳为“三性”：即神经网络的“黑盒”特点导致人工智能存在不可解释性、深度学习对样本的过度依赖学习导致结果的不可判识性以及深度学习的知识提炼模式导致学习结果的不可推论性。
04.
内生安全构造
一体化的实现可信AI应用（推理）系统
基于内生安全架构创建安全可信AI应用（推理）系统
基本原理：通过构建多个差异化的AI算法模型(Multiple differentiated AI models)，并融合输出裁决算法实现价值对齐，以发现或纠正AI应用系统中的差模性质安全问题。
模型训练数据的特异性分析
结果：差异化的训练数据可以得到多样化的AI神经网络模型，模型间对于AI攻击的结果也呈现出显著差异。
模型训练方法的特异性分析
结果：利用差异化的训练方法能够使AI神经网络模型产生特异性，其在面对AI攻击时结果存在差异性。
AI模型的特异性分析
结果：AI算法对输入数据十分敏感，在数据预处理阶段稍作变化，就可能形成差异化的推理结果。
模型推理分析能力的特异性分析
结果：对同一任务多个AI神经网络模型进行可解释性分析，能够可视化观察到异构模型之间推理的差异性。
05.
内生安全构造子系统差异化实现方法
多样性才是解决正道，技术实现方法见下：
实验表明：基于必要多样性定律和相对正确公理，内生安全构造能够有效发现并处置系统中差模性质的广义安全事件。
06.
内生安全构造的可信AI应用系统实践
邬江兴表示，当前AI应用系统责任与风险严重失衡，AI应用系统开发商明知产品存在安全问题仍将产品无所顾忌地推向市场。我们既不能机会主义地使用安全性尚不能承诺的AI应用系统，又不能完美主义地追求绝对可信AI应用系统。
网络内生安全范式应当是AI可信应用系统理论发展方向，对此，邬江兴预言，但凡实用化的AI系统必须满足正确公理和必要多样性定理，如果不是这样，一定不是具有实用化的应用安全系统。
最后，邬江兴谈到，智能时代需要正确的理论方向，亟待发展安全可信的AI应用系统，让AI健康向善，服务人类的生活。
