中文问答答系统中答案抽取研究与实现.ppt

中文问答系统中答案抽取的 研究与实现 吉林大学2010年硕士论文 目录 日2,2问题分桥模块处遵 提要 在答案抽取的研究中,本文米納了一种基于规则改进 的问题分类方法,而后提 相似度 对问题句与候选答案句进行相似度计算, 根据相似度的高低对答案进行抽取,最后通过具体的实 验实现了答案抽取的全过程 实验结果表明,在保证问题分析模块问题分类准确的 情况下,得到用户所需答案的准确率可以达到92%以上, 相比其它算法有效地提高了答案抽取的准确度。 绪论一背景与意义 人们期待更快速准确的搜索技术出现; 据统计,人们花费在答案抽取的时间很长; 传统的搜索引擎有很多弊端 问答系统因此产生。 绪论一背景与意义 问答系统主要包括问题分析、信息检索和答案抽取3个 主要模块 问题分析模块的主要工作包括对问题进行分类、抽取 问题的关键词、对关键词进行扩展等; 信息检索模块的主要任务是对文档库或网络搜索引擎 进行检索,返回一些与问题相关的文档或网页 答案抽取模块的主要任务则是对信息检索模块得到的 候选文档或网页进行处理,得到问题的候选答案集,并 通过一定的算法从候选答案集中抽取岀正确答案。 绪论一简介 答案抽取的基本步骤一般如下 ①把从信息检索模块得到的候选文档或网页进行处理,切分成单个句 子,作为候选答案集。 ②根据问题的类型,对候选答案集进一步处理,排除兀余的句子,减 少候选答案的空间 ③应用相似度计算算法,计算候选答案句与问题句的相似度。 ④根据相似度的高低对候选答案进行排序,返回相似高的句子。 对于答案为一个词的问题,根据问题的类型,采用相应的抽取策略 对返回的答案句进行分析,可能需要进行命名实体的识别工作,来返回 精确的答案。 绪论一本文的工作 本文所要做的具体工作 1.问题分析模块的处理:通过改进规则对问题进行分类,通过 对问句进行词法分析和句法分析,抽取和扩展问题关键词 要时对重写问句,为答案抽取的研究做好准备工作。 2信息检索模块的处理:将扩展后的关键词提交给 Google搜索 引擎,返回与问题相关的文档和网页 答案抽取模块的处理:对返回的相关文档和网页进行处理 形成问题的候选答案集,对问题句和候选答案句进行句法分析 计算问题句和候选答案句的相似度,以相似度的高低排序候选 答案,根据相应的答案抽取策略,返回问题的答案。 绪论一问答系统 问答系统包含三个核心模块:问题分析、信息检索和答案抽取。模块之 间的关系如图所示 向罳分析模块_关信息检索模块 其名来三以买 案抽取模块 题的答案 「基于句法分析的答案抽取算法 答案抽取模决的工作流程如下 ①把从信息检索模块得到的候选文档或网页切分成句子,作为 候选答案集。 ②根据问题的类型,对候选答案集进一步处理,排除冗余的句 子,减少候选答案的空间 ③应用相似度计算算法,计算候选答案句与问题句的相似度 ④根据相似度的高低对候选答案进行排序,返回相似高的句子。 ⑤对相似度高的句子进行重新分析,根据问题的类型所对应的 抽取策略,返回给用户需要的答案。 基于句法分析的答案抽取算法 在第③步中进行相似度计算时,需要进行如下考虑 为了使相似度的计算更加准确,需要对句子进行句法分析,得 到句子中的关键词,和关键词有相同 词语,有时还需要考虑 词语之间的顺序,以及各个词语之间的相互依 根据词语的 重要程度,为不同的词语设置不同的权重。