DiffGradCAM: 一种抵抗对抗训练的通用类激活图方法-计算机科学-深度神经网络-可解释性-类激活映射.pdf

DiffGradCAM:一种抵抗对抗训练的通用类激活图

方法

JacobPilandDepartmentofComputerScienceandEngineering

UniversityofNotreDameduLac

NotreDame,IN46556

jpiland@

ChristopherSweet

CenterforResearchComputingUniversityofNotreDameduLac

本NotreDame,IN46556

译csweet1@

中

AdamCzajka

2DepartmentofComputerScienceandEngineering

v

4UniversityofNotreDameduLac

1NotreDame,IN46556

5

8aczajka@

0

.

6

0

5Abstract

2

:

v类激活映射（CAM）及其基于梯度的变体（例如，GradCAM）已成为解释卷

i积神经网络（CNN）预测的标准工具。然而，这些方法通常关注于单个对数

x

r几率，而对于使用softmax的神经网络，类别成员概率估计依赖于仅对数几

a

率之间的差异，而不是它们的绝对值。这种脱节使得标准的CAM容易受到

对抗性操纵的影响，例如被动欺骗，其中模型被训练以生成误导性的CAM

而不会影响决策性能。我们引入了显著性欺诈激活图（SHAMs），这是一个

用作对抗条件下CAM鲁棒性基准测试的熵感知的被动欺骗形式。为了解决

被动欺骗漏洞，我们提出了一种新颖、轻量级且对比式的类激活映射方法差

分梯度注意力映射，该方法不仅不易受到被动欺骗的影响，而且在非对抗情

况下还能匹配标准CAM方法（如GradCAM）的输出。综上所述，SHAM

和DiffGradCAM建立了一个新的框架来探测并改进基于显著性的解释的鲁

棒性。我们在具有少量和大量类别的多类别任务中验证了这两个贡献。

1介绍

深度神经网络的可解释性方法对于确保机器学习系统的信任、透明度和问责制至关重要。其

中，类别激活映射（CAM）[29]及其基于梯度的扩展，如梯度加权类别激活映射（GradCAM）

[21]，已成为用于可视化输入中的哪些区域对CNN预测影响最大的标准技术。

Pr