基于深度学习的电商领域的自动问答系统的研究与实现.pdf

基于深度学习的电商领域的自动问答系统的研究与实现 摘 要 互联网上每天都会产生大量的数据，用户希望能够从大量数据中快速获取所需内 容。现有的检索信息的方式已经不能够完全满足用户的检索需求。用户希望能够直接 检索到自己真实需要的内容，而不是检索出大量的相关文档，再去依次查看每一个文 档，寻找是否文档中包含自己寻找的内容。自动问答系统是一种常见的信息检索形式， 可以快速并且准确地解答问题。自动问答系统已经应用到了不同领域，它是目前人工 智能和自然语言处理方向的一个研究热点。现如今，我国的电商行业蓬勃发展，线上 购物已经成为了大多数用户的首选购物方式。随着电子商务用户的增加，电商网站的 用户咨询量也随之增加。为了给用户提供更加优质的服务，需要构建专业并且庞大的 人工客服团队。自动问答系统相对于人工客服，能够不受时间和环境的影响，二十四 小时持续为用户提供专业的服务。在电商行业中，使用自动问答系统，能够承担部分 人工客服的工作，为企业节约成本，提升用户的体验。因此，研究基于电商领域的自 动问答系统，具有很大的应用价值。 本文的研究目的是构建一个面向电商领域的自动问答系统。本文的主要研究内容 包括以下几个方面。 自动问答系统的核心部分是算法模块，本文针对电商行业的咨询特点，设计并实 现了算法引擎模块。本文对自动问答系统进行了深入的研究，考虑到电商用户咨询的 问题一般是目标驱动的，最终选择基于问答对的形式，构建问答系统。本文将问答系 统回答用户的问题的过程，抽象成选择知识库中与用户问题最为匹配的问题的过程。 这一过程实现的关键在于语义匹配算法。目前深度学习在语义匹配上取得了不错的成 绩。深度学习算法的训练需要大量的数据，并且算法最终的效果与数据集的质量密切 相关。本文收集了大量的客服数据，采用人工标注以及自动标注结合的方式，构建了 一个电商领域的问答集。本文基于构建的语料集，实现了不同语义匹配算法，对比了 这些算法在数据集上的性能表现。实验结果表明，基于卷积神经网络的算法模型效果 最好。 本文构建了一个完整的问答系统，并为问答系统提供了配套的知识库管理模块。 本文实现的问答系统可以分为三大模块，问句解析、信息检索和答案生成。问句解析 模块将用户的问题分类，分析用户的真实意图。信息检索模块从知识库中检索与用户 问题最匹配的问题。答案生成模块获取问题的答案，将答案返回给用户。本文还为问 答系统设计并实现了配备的知识库管理模块。知识库管理模块支持添加和修改问答对， 为问答系统提供准确的训练数据。同时，知识库管理模块可以统计用户的提问情况， 以及问答系统的匹配情况，为分析和改进系统提供了依据。 关键词：问答系统；电商；卷积神经网络；深度学习 1 基于深度学习的电商领域的自动问答系统的研究与实现 Abstract The Internet generates a large amount of data every day. Users hope to be able to quickly obtain the required content from a large amount of data. At present, the commonly used ways of retrieving information can not fully meet the users' retrieval needs. Users want to be able to directly retrieve the content they really need, rather than retrieve a large number of related documents, and then go to check each document in turn, to find out whether the document contains the content they are looking for. Question answering system is a common form of information r