基于特征级证据抽取方法的阅读理解选择题可解释性研究.pdfVIP

摘要

机器阅读理解（MachineReadingComprehension，MRC）是自然语言处理领域

的一个重要研究方向，旨在使计算机能够理解和解释文本内容，并根据给定的问题

提供准确的答案。随着深度学习技术的发展，尤其是预训练语言模型如BERT、

GPT等的出现，MRC系统取得了显著进步。然而，这些基于神经网络的模型往往

被认为是“黑盒”，因为它们内部复杂且高度非线性的结构使得人类难以理解其决

策过程。因此，在近年来越来越多地关注到AI系统可解释性和透明度背景下，

MRC领域人们也开始探索如何提升模型结果的可解释性。由于在MRC领域对模型

可解释方面的研究较少，缺乏对模型可解释性的评测结果，因此本文从语义匹配方

面的选择式MRC模型入手，先对模型做了可解释性评估，而后在可解释性最好的

模型上进行了改进以提高其可解释性。

为了探究语义匹配方面的MRC选择题模型的可解释性，本文将从以下三个方

面开展研究：

（1）首先在高考散文阅读理解选择题数据集的测试集上加入了扰动数据和人

工标注的证据以构成可解释评估数据集，为后续在合理度和忠诚度两个评价指标上

评估模型可解释性做准备。然后用基于注意力的特征级证据抽取方法在高考散文阅

3

读理解选择题数据集和公共数据集数据集两个数据集上评估了Co-matcing、

C

CSA、BiDAF、MWM_MRC四个选择式机器阅读理解模型的可解释性。实验结果

表明在这两个数据集上，MWM_MRC模型的可解释性能最好。

（2）根据以上的评测结果，从中选择可解释性能最好的模型MWM_MRC进

行改进，并在高考散文阅读理解选择题数据集上继续进行实验。本文使用了对抗训

练对模型进行改进，发现对抗训练可以提升模型的忠诚度。并且对比了FGM、

PGD、FreeLB、PQAT这四个对抗训练方法对模型忠诚度的提升程度，得出适应阅

读理解任务的PQAT对抗训练效果最佳。

（3）构建了中高考阅读理解选择题答题系统。该系统包含用户管理、试题输

入、答案预测三个模块。不同于其他选择题系统，该系统能输出模型做出答案的可

解释性依据，从而使用户增加对系统的信任。由于所使用的特征级证据抽取方法抽

取的证据是token级的，用户无法直接理解，因此将包含证据token最多的一句话作

为证据呈现给用户。

关键词：选择式机器阅读理解；可解释性；可解释评测数据集；对抗训练

ABSTRACT

MachineReadingComprehension(MRC)isanimportantresearchdirectioninthe

fieldofnaturallanguageprocessing,whichaimstoenablecomputerstounderstandand

interprettextcontent,andprovideaccurateanswersbasedongivenquestions.Withthe

developmentofdeeplearningtechnology,especiallytheemergenceofpre-trained

languagemodelssuchasBERTandGPT,MRCsystemshavemadesignificantprogress.

However,theseneuralnetworkbasedmodelsareoftenconsideredblackboxesbecause

theircomplexandhighlynonlinearinternalstructuresmakeitdifficultforhumansto

understandtheir