基于外部知识和记忆网络的句子对建模技术研究.pdfVIP

华东师范大学硕士学位论文 内容摘要 随着自然语言理解技术的发展，诸如问答系统、智能客服对话等智能系统应用愈发 广泛。智能系统的本质是建模自然语言句子，充分理解自然文本的语义，进而执行相应 的任务。句子对建模 （Sentence Pair Modeling ）为自然语言理解的基本任务，它旨在建 模两个句子的语义信息并判别其间的语义关系。因此，关于句子对建模的研究有助于下 游自然语言理解任务，如自然语言推理和释义识别。 当前基于神经网络的句子对建模方法大多仅依赖于训练语料，一方面，其不能有效 地学习到模型理解文本的过程中需要的外部常识知识；另一方面，句子对建模过程中文 本受关注的部分会随着模型对句子理解程度的变化而动态变化，因此模型需要多轮的深 度信息交互处理而非简单的神经网络节点计算。因此，本文将外部常识知识和带有多轮 交互的记忆网络引入文本建模方法中，进而实现高性能句子对建模的目标。本文主要的 工作与贡献包括： （1）知识自适应神经网络模型：该模型从外部知识库中获取和句子相关的三元组 形式的常识知识，然后通过知识吸收门将编码后的外部常识知识自适应地引入神经网络 模型中，最后，模型经过知识化的信息聚集和文本推理进行语义推断和关系预测。该模 型的创新点在于，在句子建模过程中引入外部知识从而得到关于事实知识的先验，通过 自适应地吸收常识知识进而实现更准确的语义推断。 （2）双残差记忆网络模型：该模型首先通过多样化注意力机制获得句子级和词级 的句子记忆信息，形成双记忆结构。其次，模型基于残差记忆模块进行多轮语义推理从 而进行最终文本语义预测。该模型的创新点在于，模型在不同的信息粒度层面得到关于 句子的语义信息，并基于该丰富的信息进行多轮动态的信息交互，进而准确地捕捉句子 的关键词信息，为后续的语义判断供可靠的依据。 （3）基于句子对建模的主观题自动评分系统：该系统基于上述两个句子对建模模型， 为用户供可靠的文本自动评分服务。针对用户输入的待评文本和标准参考文本，该系 统返回给用户待评文本的评分结果并可视化评分细节，以帮助用户更好地理解模型的预 测依据。该系统基于Browser/Server 架构实现，简洁易用，可随时为用户供评分服务。 关键，词：句子对建模；自然语言推理；外部常识知识；释义识别；记忆网络 I 华东师范大学硕士学位论文 ABSTRACT With the development of natural language understanding technology, intelligent systems such as question answering systems and intelligent customer service are becoming more widely used. The essence of intelligent systems is to model natural language sentences, fully understand the semantics of natural text, and then perform corresponding tasks. Sentence Pair Modeling is the basic task of natural language understanding. It aims to model the semantic information of two sentences and determine the semantic relationship between them. Therefore, the research on sentence pair modeling is helpful for downstream natural language understanding tasks, such as