QuestionAnsweringSystem技术实现分析.pdfVIP

QuestionAnsweringSystem 技术实现 @mr.cc 1 QuestionAnsweringSystem 是一个Java 实现的人机问答系统，能够自动分析 问题并给出候选答案。本文从工作原理、主要数据结构、关键技术及代码实现四 个方面对该系统的技术实现进行分析。 1、工作原理 本地数据库 是 问题输入 本地数据库 是否存在证据？ 否 预处理 从互联网检索 并抽取问题的证据 添加问题，证据 检索并返回问题的证据 提取问题模式 支持证据 问题类型 模式匹配得到 证据评分 模式集合 问题类别 候选答案提取 TopN答案 候选答案评分 候选答案排序 及其置信度输出 图 1 QA 系统工作原理 该QA 系统的工作原理如图 1 所示，主要可以划分为证据获取、证据评分、 问题分类、候选答案评分四大模块。这四大模块的目标及内容如下：  证据获取：从本地数据库或互联网上获取支撑问题的证据。若本地数据 库存储有该问题的证据，则直接返回支撑问题的证据。否则，需要利用 搜索引擎 （如百度、谷歌）从互联网上抓取与该问题相关的片段，并抽 取、整理出其中的正文作为该问题的支撑证据。  证据评分：为评价不同证据对问题的支撑度，需建立一套证据评分机制。 1 项目作者：杨尚川；项目地址：/ysc/QuestionAnsweringSystem - 1 - 证据评分模型，采用了基于词频的、基于 bigram 的和基于 skip-bigram 的三种评价方法及基于上述三种方法加权的组合方法。评分过程中，可 以由用户设定以上四种评价方法的任意一种。  问题分类：对问题所属的类别进行判定。该系统将可识别的问题类别划 分为人名、地名、机构名、数字、时间、定义和对象七类（暂时仅支持 前五类），并预先定义这几类问题的匹配模式。分类过程为：1）提取问 题的模式，2 ）和预定义的问题类型模式进行正则匹配，3 ）根据匹配的 结果确定问题的类别。针对同一类问题，系统又定义了五大类数小类的 匹配模式，用户可以自由设定匹配模式为大类别或基于五大类的加权组 合。  候选答案评分：为评估候选答案的质量，需建立一套候选答案评分机制。 在候选答案评分模型中，基础的评价方法有基于词频的、基于词距的、 基于最短词距的、基于文本对齐的、基于宽松文本对齐的、基于回带文