基于Grad-CAM的模型解释方法研究.pdf

基于Grad-CAM的模型解释方法研究

摘要

卷积神经网络作为深度学习最有代表性的模型之一具有复杂度高、参数多、透明性

低的特点，如黑盒一般，缺乏可解释性。目前卷积神经网络可解释性的研究成果众多，

其中基于类激活映射的方法被广泛应用于计算机视觉任务中来解释“黑盒”卷

积神经网络模型的决策。Grad-CAM是最常见的一种基于类激活映射的方法，该方法

可以有效生成类激活图并对模型决策进行可视化的解释。然而由Grad-CAM生成的类激

活映射具有明显的噪声，并且Grad-CAM只能生成粗粒度级别的类激活图，含有较多的

冗余信息。

针对Grad-CAM的类激活图噪声问题，由于Grad-CAM方法在梯度计算过程中会产

生梯度噪声，导致生成的类激活图中存在明显的噪声，因此本文在Grad-CAM方法中引

入了NoiseGrad，提出一种基于噪声梯度的改进Grad-CAM方法。该方法的核心思想是

通过在模型中引入噪声来消除输出类激活图中的噪声。

针对Grad-CAM的类激活图粗糙问题，由于Grad-CAM仅采用通道维度加权来关注

通道特征重要性，忽视了通道内部的空间像素重要性，因此本文在NGrad-CAM基础上

引入了空间加权，提出一种基于空间和通道加权的改进NGrad-CAM方法。该方法的核

心思想是采用空间加权和通道加权相结合的方式生成类激活图，通过空间加权找到位置

信息，通过通道加权找到特征信息，从而生成更精准的类激活图。

最后，在ILSVRC2012测试集上进行可视化实验和定量实验来评估提出的方法和

现有方法，其中定量实验使用平均下降率、平均上升率和一致性系数作为评估标准。实

验结果表明，本文提出的方法在ResNet18、ResNet50和DenseNet161三种不同的神经

网络模型上均优于现有方法，可以生成噪声更少、粒度级别更精细的类激活图。此外，

消融实验的结果表明，将空间加权和通道加权相结合的方法优于仅进行一种加权的方法。

关键词：梯度加权类激活图；视觉可解释性；空间和通道加权；噪声梯度；卷积神经网

络

基于Grad-CAM的模型解释方法研究

Abstract

Convolutionalneuralnetwork,asoneofthemostrepresentativemodelsofdeeplearning,

iscomplexbecauseofhighprecision,manyparameters,andlowtransparency.Likeablack

box,itislackofinterpretability.Therearemanyresearchresultsontheinterpretabilityof

convolutionalneuralnetworknow.Amongthem,themethodbasedonclassactivation

mappingiswidelyusedincomputervisiontaskstoexplainthedecision-makingofblack

boxconvolutionalneuralnetworkmodels.Grad-CAMisthemostcommonmethodbasedon

classactivationmapping,whichcaneffectivelygenerateclassactivationmapsandprovide

visualexplanationsformodeldecisions.However,theclassactivationmapsgeneratedby

Grad-CAMhaveobviousnoise,