大模型的可解释性非常重要。随着模型越来越大,其“黑盒子”特性会严重影响模型结果的准确性,增加对模型的优化难度,以及在医学、金融等领域带来很高的应用风险。
因此提高大模型的可解释性,不仅能优化我们的实验结果,其方法本身也是一个可发paper的创新点。
今天总结一下目前最全的大模型可解释性技术。
首先按照大模型的训练范式分类:传统 fine-tuning 范式 和 基于 prompting 的范式。
基于传统 fine-tuning 范式的模型解释,又可分为局部解释和全局解释。
基于 prompting 的范式,分为对基础模型的解释,和对助手模型的解释。
其中每种解释还有细分内容。为了方便大家学习,我按照上面的分类,整理了118篇可解释性的精选论文,有开源代码的也一并整理。扫码免费领取。
扫码免费获取全部论文+开源代码
传统 fine-tuning 范式中的局部解释
传统 fine-tuning 范式中的全局解释
基于 prompting 的范式中的基础模型解释
基于 prompting 的范式中的助手模型解释