基于LIME的可解释方法研究.pdfVIP

基于LIME的可解释方法研究

摘要

近年来，人工智能蓬勃快速的发展，导致网络深度与参数越来越多，其产生的结

果的准确度逐步提高。但是对于人类来说，更加复杂的网络让人难以理解其产生结果

的理由及过程，导致人们无法完全相信人工智能的决策结果。这些复杂模型的黑盒特

性严重限制了其中重要决策领域（例如医疗诊断、个人信用评估、罪犯风险评估等）

的应用。所以，可解释人工智能的发展越发受到关注，目前主流的可解释人工智能方

法种类繁多，本文在对当前各主流可解释人工智能方法进行全面总结分析的基础上，

深入探讨了LIME解释模型并对其进行改进。

具体地，论文围绕LIME解释结果不稳定的问题进行深入研究，提出了一种改进的

LIME。1）首先针对LIME随机扰动超像素分割块，导致生成的扰动图片指数式增加，

选取训练样本时差异过大的问题。由于人们对解释结果往往只关心符合人类理解的重

要部分，其余部分对于解释结果并不是很重要。Score-CAM是一种具有优秀定位能力

的模型，被解释网络的每一条通道的重要部分在热力图中都能够有所体现。所以，本

文提出了根据Score-CAM产生的热力图，提取出重要特征部分的掩码，在掩码区域内

进行超像素分割及扰动，可以减少产生的训练样本的差异性，提高最终解释结果的稳

定性。2）其次，针对LIME使用的SLIC超像素分割算法无法在一个不规则区域内生成

可靠的分割结果，本文采用maskSLIC方法来替换LIME使用的SLIC超像素分割算法，

来提高改进算法解释结果的稳定性。maskSLIC算法是一种能够在特定区域内生成指定

像素块个数的稳定超像素分割算法，且其产生的分割结果更加精细。

为了验证所提方法的有效性，论文利用了ILSVRC数据集，分别在VGG16、

Resnet18、以及Alexnet网络上测试了解释结果的余弦相似性以及结构相似性指标。结

果表明：在被测网络相同的情况下，改进之后的算法稳定性及解释效果均有提高。说

明了本文提出的算法在稳定性上优于LIME。与其他可解释算法相比，解释的结果也更

加的集中，范围更加的精确。此外，本文提出的算法仍具有较强的通用性。

关键词：深度学习；可解释性；LIME；类激活映射

哈尔滨工程大学硕士学位论文

Abstract

Inrecentyears,withtherapiddevelopmentofartificialintelligence,thedepthand

parametersofthenetworkhaveincreased,andtheaccuracyoftheresultshasgradually

increased.Butforhumans,amorecomplexnetworkmakesitdifficulttounderstandthereason

andprocessofitsresults,whichmakespeopleunabletofullytrustthedecision-makingresults

ofartificialintelligence.Theblack-boxnatureofthesecomplexmodelsseverelylimitstheir

applicationsinimportantdecision-makingdomains(e.g.,medicaldiagnosis,personalcredit

assessment,criminalriskassessment,etc.).Therefore,thedevelopmentofexplainableartificial

intelligencehasattractedmoreandmoreattention.Atpresent,therearemanykindsof

mainstreamexplainableartificialint