说明论文模板 赛题名称-现队伍名-说明论文.docxVIP

基于文心NLP大模型的阅读理解可解释评测 Linzw 王志霖 软件工程大二 吉林大学 中国-长春1852858666@ 姓名部门职位/专业年级 机构/大学名称国家-城市 email@ 姓名部门职位/专业年级 机构/大学名称国家-城市 email@ 团队简介 我们团队的成员分别来自吉林大学，西安交通大学，四川大学。 队长，王志霖，吉林大学，软件工程大二在读，有很多个人项目经验，如：基于知识图谱的智慧分诊系统，医学论文检索系统等，获得过校一等奖学金，华为ict大赛校一等奖，做过cv，nlp方向的很多lab，目前深入NLP方向，队伍代码手。 队员，郑嘉鑫 吉林大学 计算机科学与技术 研一在读 队员，王超玉，西安交通大学，计算机科学与技术专业，研一在读。吉林大学2022届优秀毕业生，吉林大学2021年自强自立大学生，曾参与三项华为昇腾众智项目，其中两项获得金质量奖，获昇腾众智开发者称号。 队员，杨哲，四川大学，计算机科学与技术大二在读，曾获校二等奖学金，对深度学习，计算机视觉方向有兴趣并进行过相关学习。 队员，李光赫，吉林大学 计算机科学与技术学院大二在读，感兴趣方向为强化学习，计算机视觉，数据结构与算法。 摘要 深度学习已经被众多领域所应用，作为黑盒模型，其内部决策机制是不透明的。这种不透明性阻碍了深度学习模型在许多场景的落地。近年来，深度学习模型的可解释性受到广泛关注，涌现出很多致力于分析和增强模型可解释性的工作，如模型预测依赖证据提取、基于证据的可信增强等。 阅读理解任务的可解释评测，是指在完成机器阅读理解的同时，给出支撑预测的证据。现有的方法主要有Attention，IG，LIME等根据模型内部预测信息进行证据预测；Expmrc论文中提出的基于规则的方案，answer所在句作为答案；以及一些半监督的方案。然而，这些方案都在一定程度上存在局限。 我们根据已有的研究与其局限，提出了二次问答证据抽取方法。相对于Attention，IG等方法，我们的方案在证据准确性分数上提高了0.50+，总分数达到了0.71+。 关键词 机器阅读理解（MRC），可解释性，证据抽取，片段抽取，二次问答证据抽取 1 引言 机器阅读理解（Machine Reading Comprehension，MRC）是常见的自然语言处理任务。它是指给定问题和文本，让机器回答对应的答案。现有的机器阅读理解方案主要分为两种：1、片段抽取：给定问题与文本，从文本中抽取一段连续的子字符串作为问题的答案[7]。2、序列生成：给定问题与文本，生成一段字符序列作为答案[7]。现今主流使用的模型大多为深度学习模型。 深度学习模型作为一个黑盒模型，其内部决策机制是不透明的[]。这种不透明性导致使用者对其结果的不信任，增加了落地难度，尤其是在医疗、法律等特殊领域。近年来，深度学习模型的可解释性受到广泛关注，在自然语言处理任务中也涌现出很多致力于分析和增强模型可解释性的工作，如模型预测依赖证据提取[1]、基于证据的可信增强等[1]。 阅读理解任务的可解释评测常用的方法主要有Atten-tion[5]，IG[2]，LIME[3]等根据模型内部预测信息进行证据预测；Expmrc[6]提出的基于规则的方案——答案所在句作为证据答案，以及一些半监督的方案[6]。 基于Attention，IG，LIME的方案方法虽然用到了模型的内部信息，但是抽取出的证据不具有连续的语义，效果也与基于规则的方式有一定的差距。Expmrc中提出的基于规则的方案，虽然有不错的效果，但是并不能够对模型进行解释。综合上述的方案，我们提出了一种半监督的方法，基于二次问答进行证据抽取。 基于上述存在的问题及局限，我们在这里提出了一种二次问答的证据抽取方法，通过利用答案与证据的关系，构造证据抽取问题，抽取支撑答案的证据。 2 数据集 数据集分为训练数据集和测试数据集。在模型训练过程中使用的训练数据集包括官方推荐的DuReader_Checklist数据集和补充的DuReader_Robust数据集 DuReader_Checklist的答案长度分布，从图中可以看出，该数据集的答案长度范围主要在1,10： 图1：DuReader_Checklist答案长度分布 测试数据集中包含2042原始数据和2324条扰动数据。针对每一条原始数据，作者从抗干扰性、敏感性、泛化性等维度标注了扰动数据。测试数据集中包含2042原始数据和2324条扰动数据。原始数据和扰动数据，两者抽取的证据序列一致，用于计算证据的MAP分数。 3 阅读理解与可解释性模型 模型核心在对有用信息进行抽取，分为两个阶段第一阶段抽取出问题的答案，第二阶段抽取出问题的证据，在信息抽取时我们使用片段抽取式阅读理解，在抽取证据时我们选择在利用第一阶