基于注意力机制的答案选择排序研究.pdfVIP

基于注意力机制的答案选择排序研究 摘 要 搜索引擎的使用方便了人们的生活，但其查询结果仍需要人工筛选。给定一 个问题，如何精准地获取正确答案显得至关重要。答案选择排序是解决该问题的 一个切入点，其关键就是问题答案句子之间的语义相似度计算。在语义相似度计 算方法一定的条件下，问题答案句子之间的语义相似度主要取决于问题答案句子 内部的语法语义信息以及问题答案句子之间的语义信息。本课题基于语义相关度 距离概念假设，构建新的答案选择排序模型，并且从以上两个方面提升模型性能。 本课题研究的主要贡献如下： 1.提出了问题答案句子语义相关度距离的概念假设，详细诠释了如何将候选 答案集合中的正确答案和错误答案区分开，从而把正确答案选择出来。然后，依 据该理论构建了新的答案选择排序模型。 2.针对答案选择排序任务，使用统计和深度学习相结合的方法提取句子词性 特征。先使用深度学习模型进行句子上下文语义捕获，再使用统计模型进行标注 并解决未登录词的标注问题。然后通过集成两种模型的优势进行高效地词性特征 提取，并进行实验性能验证。最后将问题答案句子词性特征与排序模型融合，增 强问题答案句子内部语法语义信息。 3.通过词性与原始语料融合后的语义引入注意力机制。区别于针对原始语料 或者问题答案句子某一特征进行的注意力矩阵构造等已有的注意力使用方法，本 文先将词性与原始语料进行融合，再运用融合后的向量构造注意力矩阵，进而融 合到排序模型之中，增强问题答案句子之间的语义信息。 基于以上研究，本文排序模型在NLPCC 2017 DBQA 问答数据集进行实验。 结果表明，本文基线排序模型融合词性和注意力之后，其MAP 、MRR 和ACC@1 三个性能指标分别达到79.34%、79.42%和70.13%，明显高于其他排序模型的性 能，从而验证了本课题排序模型理论假设的正确性及模型的合理性、有效性和先 进性。 关键词：答案选择排序，注意力机制，词性标注，语义相似度 I 目 录 摘 要 I ABSTRACT II 第一章 绪论 1 1.1 研究的背景和意义1 1.2 研究现状3 1.2.1 词性特征提取3 1.2.2 注意力机制3 1.2.3 答案选择排序4 1.3 研究内容5 1.4 研究方案6 1.5 文章组织结构7 第二章 相关技术概述9 2.1 词性标注9 2.1.1 基于词典查找的词性标注9 2.1.2 基于规则和统计的词性标注10 2.1.3 基于深度学习的词性标注14 2.2 注意力机制 15 2.2.1 硬注意力机制和软注意力机制16 2.2.2 全局注意力机制和局部注意力机制17 2.2.3 自注意力机制20 2.3 答案选择排序 22 2.3.1 Pointwise22 2.3.2 Pairwise22 2.3.3 Listwise22 2.4 本章总结 23 第三章 基于统计和深度学习的词性标注模型24 3.1 引言 24 3.2 模型 24 3.2.1 标注模型架构25 3.2.2 条件随机场处理层27 3.2.3 维特比算法解码标注序列28 3.3 实验 29 3.3.1 实验数据29 3.3.2 实验设置30 3.3.3 评估指标31 3.4 结果与分析 31 3.4.1 模型实验结果32 3.4.2 不同模型对比33 3.5 本章总结 34 第四章 融合词性与注意力的答案选择排序模型35 4.1 引言 35 4.2 模型 36 4.2.