通过激活最大化理解表示.pdfVIP

通过激活最大化理解表示

HongboZhu,AngeloCangelosi

ManchesterCentreforRoboticsandAI,TheUniversityofManchester

{hongbo.zhu,angelo.cangelosi}@manchester.ac.uk

Abstract

理解深度神经网络（DNN）中的内部特征表示是实现模

型可解释性的重要一步。受通过视觉刺激探索单个生物

神经元的神经科学方法启发，最近的深度学习研究采用

了激活最大化（AM）来合成能够强烈激发人工神经元的

本输入。在这项工作中，我们提出了一种适用于卷积神经

译网络（CNNs）和视觉变压器（ViTs）的统一特征可视化

框架。与之前主要关注CNNs中最后一层输出层神经元

中的努力不同，我们将特征可视化扩展到中间层，提供了

1对学习特征表示层次结构的更深入见解。此外，我们研

v究了如何利用激活最大化生成对抗性示例，揭示DNNs

1潜在的脆弱性和决策边界。我们的实验展示了我们在传图1:在经典的神经科学实验中，Hubel,Wieseletal.

8(1959)发现了一种猫的视觉皮层神经元，当光条处于某

2统CNN和现代ViT中的方法的有效性，突出了其通用

7性和解释价值。些位置和方向时，该神经元会强烈且有选择性地放电。

0

.

81介绍2020)）之间推广AM仍处于探索不足的状态。在这里，

0

5解释DNN的内部表示对于提高其透明度和可信度我们提出了一种通过激活最大化理解表示的统一框架。

2是基础性的。在各种技术中，AM提供了一种直接手段将特征可视化扩展到中间层，并涵盖CNN和ViT。我

:

v来探测神经元或通道所学习的内容，通过合成最大化其们进一步探讨了AM如何生成对抗性示例，为跨架构

i

x激活的输入。这些优化后的输入通常被称为激活最大模型行为提供了更深层次的见解。

r

a化信号(AMS)，旨在揭示神经元响应最强烈的潜在特

征。估计神经元偏好的一种简单策略包括从数据集中2相关工作

识别产生高激活的真实输入样本。然而，这种方法受制理解DNNs的内部表示仍然是可解释AI领域的一

于数据覆盖范围和可扩展性。神经元经常对自然图像个核心目标。在各种可解释性技术中，激活最大化对

(Nguyen,Yosinski,andClune2016)中未完全体现的多于揭示神经元或通道所学习到的特征具有很大的潜力。

样或抽象概念作出反应。此外，聚合多个高激活样本并本节回顾了关于AM及其与对抗鲁棒性的关联的相关

不能保证能够得到一个连贯或可解释的关于神经元功文献。

能的总结。激活最大化最早由Erhanetal.(2009)提出，作为

为了克服这些限制，特征可视化技术(Olah,Mord-合成输入模式以最大程度激活特定神经元的技术。这种

vintsev,andSchubert2017)直接优化输入而不依赖真方法为浅层网络的内部表示提供了早期见解。然而，最

实数据来生成激活目标神经元的合成刺激。这些方法通初的可视化经常出现不自然的伪影，促使改进优化策略

常包含正则化，如频域约束或图像增强以提高可解释性和正