基于深度学习的上下文感知和主题融合的机器问答研究.pdfVIP

重庆大学硕士学位论文 中文摘要 摘 要 在大数据和深度学习技术发展的带领下，神经网络机器问答系统的交互水平 得到了长足进步，该领域也越来越引起人们的注意，深度学习神经网络的飞速进 步也极大地推进了人机对话系统的落地进程。随着人们生活的智能化，智能对话 设备不断进入人们的视线，为人们提供信息服务，交互操控和聊天娱乐等功能。 本文主要研究神经网络问答模型融合主题模型的问答系统，传统神经网络运用到 开放问答领域存在很多问题，其中之一就是容易生成简单宽泛且无区别性的回复， 原因是模型在生成回复时既不能感知上下文又没有外源知识的补充。为了让神经 网络问答系统能够生成丰富多样的响应，本文从神经网络Seq2Seq 问答模型和主题 模型方面展开研究： ① LDA是一种提取文本主题词的算法，通过中文语料库训练的LDA模型能够 把每组对话当作短文本进行主题词提取，将LDA提取的主题词引入到神经网络 Seq2Seq 问答模型作为外源知识，因此问答模型除了能够学习训练语料库的问答模 式外，还可以动态地利用主题词来生成回复，促使生成的响应内容丰富多样。 Seq2Seq ② 将提取的主题词融合到神经网络 问答模型得到神经网络主题问答 模型，并在自制的中文语料库上训练。传统的神经网络Seq2Seq 问答模型难以感知 上下文，本文对该模型进行改进，加入了联合注意力机制，该注意力机制包括主 题注意力机制和双向注意力流机制。该机制可以让解码器在生成答案时可以有效 地利用上下文语义和主题语义，促使生成的回复与上下文相关性更强并且与主题 相关。 ③ 启发于机器理解领域问句与上下文之间的处理机制，将双向注意力流网络 引入神经网络Seq2Seq 问答模型提出了注意力增强主题模型。双向注意力流机制的 输入包括经过问句编码器编码的上下文部分和问句部分，由于上下文不同词对问 句的生成起着不同的作用，上下文经问句编码器编码的中间向量通过问句注意力 机制来关注不同词的重要性，最后通过上下文编码器流入到双向注意力流网络。 双向注意力流机制能够捕捉上下文与问句之间的联系，使得解码器能够生成与问 句更密切的回复。 最后经自制的语料库训练该模型，实验结果对比其他主流问答模型验证了该 模型的有效性。 关键词：神经网络；上下文；主题问答模型；注意力机制；双向注意力流 I 重庆大学硕士学位论文 英文摘要 Abstract Thanks to the development of big data and deep learning technology, the interaction level of neural network machine question answering system has made great progress, and this field is attracting more and more attention. The great progress of deep learning neural network has prompted the landing progress of question answering machine.With the intelligentization of peoples life, intelligent dialogue devices are constantly in the sight of people, providing people with information services, interactive c