虽然，现代神经网络仍然无法摆脱“黑盒”困境，但这些年，网络的可解释研究始终在向前发展。解释方法的公式透明化对于阐明神经网络的预测行为至关重要。近来比较受欢迎的分层相关性传播（Layer-wise Relevance Propagation，LRP）方法可以透明地计算出反向传播的相关性分数，并在模型预测时追踪其在整体架构中的流动情况。但这种方式缺乏进一步的发展，例如传统的LRP方法没有充分考虑网络中跳跃连接的存在，因此其在广泛使用的ResNet架构中尚未得到研究。
本文介绍一篇发表在ECCV 2024上的工作，在本文中，作者通过对跳跃连接和残差块的输出收敛性进行相关性拆分，从而将LRP 扩展到 ResNet 网络中。本文的证明公式拥有高度的过程守恒性，保证了生成解释的质量和完成性。此外，本文在ImageNet 和 Caltech-UCSD Birds-200-2011两个权威的数据集上进行了实验验证，本文方法在现有可解释评估指标上实现了SOTA性能。
虽然，现代神经网络仍然无法摆脱“黑盒”困境，但这些年，网络的可解释研究始终在向前发展。解释方法的公式透明化对于阐明神经网络的预测行为至关重要。近来比较受欢迎的分层相关性传播（Layer-wise Relevance Propagation，LRP）方法可以透明地计算出反向传播的相关性分数，并在模型预测时追踪其在整体架构中的流动情况。但这种方式缺乏进一步的发展，例如传统的LRP方法没有充分考虑网络中跳跃连接的存在，因此其在广泛使用的ResNet架构中尚未得到研究。
论文题目：
Layer-Wise Relevance Propagation with Conservation Property for ResNet
论文链接：
https://arxiv.org/abs/2407.09115
项目主页：
https://5ei74r0.github.io/lrp-for-resnet.page/
代码仓库：
https://github.com/keio-smilab24/LRP-for-ResNet
一、引言
现有的神经网络可解释方法可以通过添加噪声扰动或基于梯度信息在图像上生成解释，例如非常具有代表性的RISE[1]和Grad-CAM[2]等方法。后续出现的LRP方法可以清晰的计算出反向传播的相关性分数，同时还可以捕获其在网络内部的流动情况，这对于理解网络最终的决策具有重要意义。但美中不足的是，传统的LRP方法无法很好地处理ResNet这类带有跳跃连接的模型，因此需要对LRP进行扩展和改进，作者重点考虑了以下几个关键问题：
如何在LRP的框架下有效地传播ResNet中跳跃连接处的相关性评分?
如何保证整个相关性传播过程满足"相关性保守"的性质，确保预测结果的完整性和可解释性?
如何改善LRP生成的视觉解释，防止过度集中在无关区域?
二、LRP的基础概念
LRP方法的核心思想是通过反向传播的方式，将模型的预测结果分解到输入特征上，从而生成可视化的解释。对于一个给定的输入样本，LRP会计算每个输入特征对最终预测结果的贡献度，也就是该特征的"相关性"。随后，LRP会将输入特征上的相关性得分以热力图的形式呈现出来，从而给出一个可解释的视觉解释。热力图中越亮的区域，代表对最终预测结果贡献越大。在对相关性分数进行传播时，LRP引入了多种不同形式的传播规则，这些规则必须满足两个基本条件：
相关性保守性：每一层的相关性得分之和等于前一层的相关性得分之和。这确保了相关性得分在整个网络中得到完整传递，没有遗漏。
非负性：每个特征的相关性得分都应该是非负的。这是为了确保相关性热力图的直观性，即越亮的区域代表越重要的特征。
三、本文方法
3.1 将LRP扩展到ResNet架构中
由于ResNet网络中每个Bottleneck模块都会有一个跳跃连接，可以将前层的特征直接传递到后层，形成了多个非线性的相关性传播路径，而标准的LRP传播规则无法很好地处理这种情况。为此，本文对LRP方法进行了ResNet架构的适配，整体框架如下图所示。
3.2 对称拆分与比率拆分
这种方法考虑了跳跃连接和残差块输出的相对大小，能够更好地反映它们对最终预测的贡献。同时比率拆分方法仍然满足相关性保守的要求，即每一层的相关性得分之和等于前一层的相关性得分之和，计算如下：
3.3 引入热力量化（Heat Quantization）
前文提到，传统的LRP方法在某些情况下生成的相关性热力图，会过度集中在一些无关的区域，从而降低了解释的有效性。因此本文对这一方面也进行了改进，提出了一种热力量化策略，可以形式化表示为：
四、实验验证
为了对ResNet内部相关性传播规则进行深入探索，作者还进行了一系列消融实验，结果如上表和上图所示。其中方法(iv)的ID得分为0.545，高于方法(iii)的0.510，说明将相关性分配到具有恒等映射的跳跃连接是有效的。方法(iv)的ID得分也超过了方法(ii)的0.517，这表明采用考虑跳跃连接和残差连接输出比例的比率拆分方式，能产生更高质量的可解释图。从可视化图中观察，当使用方法(iv)时，LRP可以更加精确的定位到图像中的关键目标，这进一步说明比率拆分相比对称拆分拥有更优秀的解释性能。
四、总结
参考资料
[1] Petsiuk, V., Das, A., Saenko, K.: RISE: Randomized Input Sampling for Explanation of Black-box Models. In: BMVC. pp. 151–164 (2018)
[2] Selvaraju, R., et al.: Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization. In: ICCV. pp. 618–626 (2017)
llustration From IconScout By IconScout Store
扫码观看！
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
