进入21世纪以来，人工智能（Artificial Intelligence，AI）取得了长足发展，已经逐步在自然语言处理、计算机视觉、语音识别、自动驾驶等领域落地。AI与人类紧密的结合，使得智能化的人机协同成为大势所趋。人类在全方位应用AI的同时，更希望能理解、信任、管理AI。因此，发展可解释、可扩展、安全可靠的AI显得至关重要。
而人工智能技术的高速发展也面临诸多困难与挑战。其中，如何把AI技术的基本原理，其自动决策机制，潜在风险及防范措施，以通俗易懂的方式向人类说明，成为发展可信赖，安全可靠人工智能的首要任务。
可解释性在我们的日常生活当中比比皆是，比如，一位医生在向一位病人解释诊断结果和治疗措施时，要给病人一个好的病因和治疗解释，让病人放心。
而现实情况是，由于核心AI算法，尤其是深度学习算法，通常运行在类似于“黑盒”中的工作模式下，导致AI系统的运行结果，并不能以合乎情理的方式被人类所理解和认同。
深度学习尚存理论与应用缺陷，打造可解释AI势在必行
作为当前人工智能的核心算法之一，深度学习的不可解释性体现在理论和应用两个层面。
在理论层面，有实验证明，给出若干样本图片，被用于训练一个深度神经网络结合逻辑回归的识别模型；该模型能够将绝大部分的正确图片分类，但却会将雪地背景中的哈士奇误判为狼。因为该识别器从训练数据中学到“可以将图片中的大面积白色背景（雪地）作为识别狼的依据”。由于在输入数据和预期结果之间建立（概率）关联是一种虚假关系，当面对与训练样本不一致的情况时，模型的表现就会大失水准。
在应用层面，通过数据驱动得到的AI系统存在一系列隐患，并可能引发严重的社会问题。
首先，由于数据样本收集的局限和偏见，导致数据驱动的AI系统也是有偏见的，这种偏见甚至无异于人类社会中的偏见。比如，芝加哥法院使用的犯罪风险评估算法COMPAS 被证明对黑人犯罪嫌疑人造成了系统性歧视，白人更多被错误地评估为具有低犯罪风险，而黑人被错误地评估为具有高犯罪风险，且黑人的概率比白人高出一倍[1]。
其次，“黑盒”似的深度神经网络还常常犯一些十分低级的、人类不可能犯的错误，表现出安全性上的潜在风险。例如，一个深度神经网络原本能够正确识别图片中有一辆校车，但在对少量图片像素做一些人眼不能察觉的改动之后，图片就被识别为鸵鸟[2]。
更有甚者，人们只要戴上一副特制的眼镜，在现实环境中就能够骗过使用深度神经网络的人脸识别系统[3]；考虑到人脸识别系统在金融支付等场景中的广泛应用，这种潜在的金融和社会风险令人不寒而栗。
最后，最重要的是从决策机制来看，当前对深度学习算法的分析还处于不透明的摸索阶段。尤其是拥有亿万个参数的超大规模预训练神经网络，如BERT[4]、GPT3[5]等，其决策过程在学术上仍然没有清晰的说明。这种“黑盒”似的深度神经网络暂时无法获得人类的充分理解与信任，大规模应用此类预训练模型的潜在风险不容忽视。
推动AI持续落地，需满足各类用户对AI可解释性需求
在涉及人身财产安全的重大领域中，如金融、医疗、自动驾驶等，模型的可解释性成了决定用户能否信任模型的关键。针对不同解释受众，模型要获得不同人群的信任，必须要考虑每个人的立场背景、教育程度等因素，提供不同内容与形式的解释。
对于AI 使用者，他们往往是没有相关专业背景的普通人群。他们更关心AI 系统的结果如何影响自身及客户的利益，当出现问题时，需要向他们解释系统做出决策的原因。
例如，某家医院引入一套AI医疗诊断系统。如果该系统给出判断表明病人的癌症检测为阳性，概率为90%，那么这个结论往往是不被接受的。病人会问：你是如何做出这个判断的？根据什么特征和经验？……对于医生等专业人士来说，可能会问：系统做出这种预测，是否符合医院和医管单位的要求？有没有按照正规的医疗程序来做推断？这种推论是否可靠？有多大的风险？这个系统在多少个案例里面被测试过？是不是稳定、可靠、全面、科学的？
再比如，在电商平台中，系统设计者也需要向用户做出解释，帮助人们理解“为什么”算法向他们推荐了某些特定的商品，以此来提高推荐系统的透明度、说服力、有效性、可信赖性和满意度。
对于AI 系统开发者，他们往往是具备专业AI 背景知识的系统开发人员及测试人员，需要准确和深入的专业解释，以便完成对AI 系统的开发调试及测试任务。例如：对于一个大模型来说，是哪一部分的数据对结论起了关键作用？系统的哪一部分被启动？如果发生错误，最大的可能性来自哪里？如何修补？
AI系统亟须满足各级合规要求
除了技术层面，现行的条例法规[6][7]同样要求AI系统的开发使用流程必须在合规的条件下运行。比如，数据收集及模型学习过程是否符合隐私保护及数据治理条例[8]，必须要有准确无误的解释及认证。而对违反要求的智能体行为，也需要有明确的事故分析，为严格的问责机制提供技术说明[9]。
同时，如何将制度层面的规则具体细化落实为可实现的技术方案，仍是可解释AI亟待研究和解决的挑战。
因此，发展可解释AI具有重要的理论意义与现实意义，一方面，可帮助用户建立对AI系统的信任，防止因为算法的黑盒特性做出有偏见的结论，促进算法的公平性；另一方面，可以满足合规要求，促进AI向公平性、鲁棒性、安全性发展。
在此背景下，由来自机器学习、计算机视觉、自然语言处理，以及在生物医疗、金融、推荐系统等应用领域的12位著名专家，联合创作了《可解释人工智能导论》一书，现已重磅上市！
本书全面介绍可解释AI的基础知识、理论方法和行业应用。全书分为三部分，共11章。
第1章揭示基于数据驱动的人工智能系统决策机制，提出一种基于人机沟通交互场景的可解释人工智能范式。
第2～5章介绍各种可解释人工智能技术方法，包括贝叶斯方法、基于因果启发的稳定学习和反事实推理、基于与或图模型的人机协作解释、对深度神经网络的解释。
第6～10章分别介绍可解释人工智能在生物医疗、金融、计算机视觉、自然语言处理、推荐系统等领域的应用案例，详细说明可解释性在司法、城市管理、安防和制造等实际应用中发挥的积极作用。
第11章对全书进行总结，并论述可解释人工智能研究面临的挑战和未来发展趋势。
参考文献：
[1] Angwin, Julia; Larson, Jeff. “machine bias”[EB/OL]. 2016. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
[2] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C/OL]//International Conference on Learning Representations. 2014. http://arxiv.org/abs/1312.6199.
[3] CHEN X, LIU C, LI B, et al. Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning[J]. arXiv e-prints, 2017: arXiv:1712.05526.
[4] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[J]. arXiv e-prints, 2018: arXiv:1810.04805.
[5] BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[C/OL]//LAROCHELLE H, RANZATO M, HADSELL R, et al. Advances in Neural Information Processing Systems: volume 33. Curran Associates, Inc., 2020: 1877-1901. https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
[6] 中国人民银行. 金融科技（FinTech）发展规划（2019-2021 年）[Z]. 2019.
[7] 中国人民银行. 人工智能算法金融应用评价规范[Z]. 2021.
[8] 欧盟法规编号：(EU) 2016/679. General Data Protection Regulation(GDPR)[Z]. 2018-05.
[9] European Commission High-Level Expert Group on Artificial Intelligence. Ethics guidelines for trustworthy ai[Z]. 2019.
