一文读懂模型的可解释性(附代码)

科技   2024-10-30 10:05   中国香港  

大模型的可解释性非常重要。随着模型越来越大,其“黑盒子”特性会严重影响模型结果的准确性,增加对模型的优化难度,以及在医学、金融等领域带来很高的应用风险。


因此提高大模型的可解释性,不仅能优化我们的实验结果,其方法本身也是一个可发paper的创新点。


今天总结一下目前最全的大模型可解释性技术。


首先按照大模型的训练范式分类:传统 fine-tuning 范式 和 基于 prompting 的范式


基于传统 fine-tuning 范式的模型解释,又可分为局部解释全局解释


基于 prompting 的范式,分为基础模型的解释,助手模型的解释


其中每种解释还有细分内容。为了方便大家学习,我按照上面的分类,整理了118篇可解释性的精选论文,有开源代码的也一并整理。扫码免费领取。


扫码免费获取全部论文+开源代码




来看一下具体的分类。

 传统 fine-tuning 范式中的局部解释 


局部解释是对语言模型如何针对特定输入实例进行预测的理解,对单个样本预测进行解释。

具体方法包括特征归因基于注意力机制的解释基于示例的解释基于自然语言的解释


 传统 fine-tuning 范式中的全局解释 


全局解释从模型的角度出发,了解各个组件(神经元、隐藏层和更大的模块)编码的内容,为大模型的工作机制提供更高阶的解释。

全局解释有三种主要方法:分析模型表征和参数的探测法确定模型输入响应的神经元激活分析,以及基于概念的方法

这些方法旨在理解模型的组件所编码的知识/语言属性,并解释每个组件所学习的内容。


全部118篇可解释性的精选论文,扫码免费下载。

扫码免费获取全部论文+开源代码



 基于 prompting 的范式中的基础模型解释


具体方法为解释上下文学习解释CoT提示表征工程


 基于 prompting 的范式中的助手模型解释


助理模型通常经过两个阶段的训练:无监督预训练和有监督对齐微调。关于可解释性的研究在于确定模型知识的来源,以便更好地改进和解释其性能。

研究方法包括解释微调的作用解释幻觉不确定性量化

扫码免费获取全部论文+开源代码

本文总结了LLM可解释性技术的主要方法,一共118篇论文与已开源的代码。无论你是用来优化模型还是寻找idea,都能有帮助。需要的同学扫上方二维码即可全部免费下载。

小白学视觉
哈工大在读博士的公众号,《OpenCV 4快速入门》的作者,面向初学者介绍计算机视觉基础知识、OpenCV使用、SLAM技术,深度学习等内容。
 最新文章