基于互联网的自动问答系统关键技术研究与实现.pdfVIP

摘要 互联网信息量的爆炸式增长使人们对信息检索的需求不断提高，用户期待在浩如烟 海的信息空间中快捷、准确的找到自己所需要的资源。搜索引擎虽然为用户提供了获 取信息的有效途径，但随着网络信息量不断增长，其暴露出了越来越多的弊端：关键 词的组合难以清晰表达用户查询意图、检索结果存在冗余、返回的大量网页耗费用户 时间长等。人们期待一种更加高效、便捷、人性化的信息检索方式。由此，自动问答 系统作为一种新型的信息检索方式出现，接受用户自然语言形式的问句，返回给用户 准确、简洁的答案，并成为近年来自然语言处理领域的热点。然而，由于中文语言知 识处理的复杂性使得中文问答系统的研究存在很多困难与挑战。 本文主要对基于互联网的问答系统的两个关键技术——段落检索和答案抽取进行了 分析和算法改进，并添加了新的功能模块，实现了一个改进的基于互联网的中文问答系 统。论文的主要研究工作包括： 针对信息检索模块现有段落检索算法中，仅考虑关键词的存在性和有限的浅层语法 关系的问题。提出了一种优化段落中关键词语义相关词评分，并考虑段落长度对段落与 问句相关度的影响，改进了SiteQ 段落检索算法，并通过仿真实验证明改进算法的有效 性。 针对答案抽取模块，本文改进了现有基于语义依存树的算法，综合考虑了依存树分 析、词项依存关联度以及词形相似度对候选答案句质量的影响，对算法进行改进，实验 结果表明，改进算法得到的答案有更高的正确率。 针对构建开放领域知识库工程的庞大和复杂，本文通过添加模板匹配的功能模块， 作为一种可行的替代方案，利用网络上的大量半结构化数据，构建一个模板匹配辅助的 基于互联网的问答系统。仿真实验结果表明，新增模块的使用，提高了问答系统对用户 问题的响应速度和回答问题的准确率，是行之有效的。 关键词：基于互联网的问答系统， 查询词扩展， 信息检索， 答案抽取 I 目录 摘要I ABSTRACT II 第一章 绪论 1 1.1 研究背景与意义 1 1.2 问答系统的研究概述3 1.2.1 国外研究概述3 1.2.2 国内研究概述5 1.3 本文主要研究内容6 1.4 本文组织结构7 第二章 基于互联网的自动问答技术综述9 2.1 基于互联网的自动问答系统的框架9 2.2 问句解析 10 2.2.1 关键词提取 10 2.2.2 关键词的扩展 10 2.3 信息检索 12 2.3.1 文档检索与段落检索 12 2.3.2 段落检索算法 13 2.4 答案抽取 15 2.5 评价标准 16 2.6 本章小结 18 第三章 基于字词密度的段落检索算法 19 3.1 研究目的 19 3.2 SiteQ 算法20 3.2.1 SiteQ 算法概述20 3.2.2 SiteQ 算法优势及不足21 3.3 基于字词密度的改进的SiteQ 算法22 V 3.3.1 语义关联度评分 23 3.3.2 段落长度评分 23 3.3.3 改进的SiteQ 算法评分 24 3.4 实验分析 25 3.4.1 实验设置与评价指标 25 3.4.2 算法实现 25 3.4.3 实验结果分析 26 3.5 本章小结 28 第四章 改进的答案抽取算法 29 4.1 研究目的 29 4.2 答案抽取的一般流程 30