卷积神经网络的可解释性研究综述.pdfVIP

软件学报

ISSN

1000-9825,

CODEN

RUXUEWE-mail:

jos@

JournalofSoftware,2024,35(1):159−184

[doi:

10.13328/ki.jos.006758]

©中国科学院软件研究所版权所有.Tel:

+86-10

*

卷积神经网络的可解释性研究综述

1,21,21,21,34

窦

慧,

张凌茗,

韩

峰,

申富饶,

赵

健

1(计算机软件新技术国家重点实验室(南京大学),

江苏

南京

210023)

2(南京大学

计算机科学与技术系,

江苏

南京

210023)

3(南京大学

人工智能学院,

江苏

南京

210023)

4(南京大学

电子科学与工程学院,

江苏

南京

210023)

通信作者:

申富饶,

E-mail:

frshen@;

赵健,

E-mail:

jianzhao@

摘要:

神经网络模型性能日益强大,

被广泛应用于解决各类计算机相关任务,

并表现出非常优秀的能力,

但人类

对神经网络模型的运行机制却并不完全理解.

针对神经网络可解释性的研究进行了梳理和汇总,

就模型可解释性

研究的定义、必要性、分类、评估等方面进行了详细的讨论.

从解释算法的关注点出发,

提出一种神经网络可解

释算法的新型分类方法,

为理解神经网络提供一个全新的视角.

根据提出的新型分类方法对当前卷积神经网络的

可解释方法进行梳理,

并对不同类别解释算法的特点进行分析和比较.

同时,

介绍了常见可解释算法的评估原则和

评估方法.

对可解释神经网络的研究方向与应用进行概述.

就可解释神经网络面临的挑战进行阐述,

并针对这些挑

战给出可能的解决方向.

关键词:

神经网络;

可解释性;

分类;

深度学习

中图法分类号:

TP18

中文引用格式:

窦慧,

张凌茗,

韩峰,

申富饶,

赵健.

卷积神经网络的可解释性研究综述.

软件学报,

2024,

35(1):

159–184.

http://

/1000-9825/6758.htm

英文引用格式:

Dou

H,

Zhang

LM,

Han

F,

Shen

FR,

Zhao

J.

Survey

on

Convolutional

Neural

Network

Interpretability.

Ruan

Jian

Xue

Bao/Journal

of

Software,

2024,

35(1):

159–184

(in

Chinese).

/1000-9825/6758.htm

SurveyonConvolutionalNeuralNetworkInterpretability

1,21,21,21,34

DOU

Hui,

ZHANG

Ling-Ming,

HAN

Feng,

SHEN

Fu-Rao,

ZHAO

Jian

1(State

Key

Laboratory

for

Novel

Software

Technology

(Nanjing

University),

Nanjing

210023,

China)

2(Department

of

Computer

Science

and

Technology,

Nanjing

University,

Nanjing

210023,

China)

3(School

of

Artificial

Intelligence,

Nanjing

University,

Nanjing

210023,