信息检索与问答系统要点解析.pptVIP

Page ? * 信息检索与问答系统 同济大学 TONGJI UNIVERSITY 目录 1. 问答系统概述与简介 2. 问答系统技术发展 3. 基于问题答案对的问答系统 4. 技术前沿 1. 1 研究背景 为什么要有问答系统 传统搜索引擎存在不足 1. 返回结果太对 2. 检索效果不好 据英国英里(MORi)调查公司的民意调查结果显示，只有18％的用户表示总能在网上搜索到需要的信息，68％的用户说他们对搜索引擎很失望，28％表示还可以，其余5％为不知道。 以关键字为基础的索引、匹配算法尽管简单易行，毕竟停留在语言的表层，而没有触及语义，因此效果很难进一步提高。 1. 2 问答系统的定义 一个能回答任意自然语言形式问题的自动机。 问答系统是信息检索的一种，是在传统的基于关键词检索的基础上发展起来的精确检索 一般都认为问答系统的输入应该是自然语言形式的问题，输出应该是一个简洁的答案或者可能答案的列表，而不是一堆相关的文档。 1. 3 问答系统基本流程 1. 问题处理 任务：解析问句，理解语义 主要技术：词法分析、句法分析、问题分类、命名实体识别、句型识别、语义分析、语料库技术 2. 信息检索 任务：获取可能包含的网页或答案 主要技术：布尔检索模型、向量检索模型、概念检索模拟、搜索引擎技术 3. 答案处理 任务：从结果中判断并找到结论返回给用户 主要技术：命名实体识别、句法分析、相似度计算、语义分析 2 问答系统的发展历程 基于结构化数据的问答系统 人工智能阶段BASEBALL和LUNAR 计算语言学阶段Unix Consultant 基于自由文本的问答系统 基于问题答案对的问答系统 2.1 基于结构化数据的问答系统 基于结构化数据的问答系统的主要思想是通过分析问题，把问题转化为一个查询(query)，然后在结构化数据中进行查询，返回的查询结果即为问题的答案。 2.2 基于自由文本的问答系统 基于自由文本(free．text based)的问答系统属于开放域问答系统，它只能回答那些答案存在于这个文档集合中的问题 2.2.1 步骤一：问题分析 问句分类的方法主要包括模式匹配方法和机器学习方法两类。 模式匹配方法 为每一种问题类型建立一个模式集合，对于一个问句，只要与某种问题类型对应的模式相匹配，就被认为是这种类型的问题。 机器学习方法 首先定义一个问题的特征集合，然后在训练数据上得到一个分类器，就可以对新的问句进行分类了。 主要技术： K最近邻算法、决策树、朴素贝叶斯、支持向量机。 主题词提取 2.2.2 步骤二：信息检索 主要目的：缩小答案的范围，提高下一步答案抽取的效率和精度。 步骤： 1. 文档检索文档检索是给定一个由问题产生的查询，通过某个检索模型去得到相关的文档。 2. 段落检索从候选文档中检索(抽取)出可能包含答案的段落。 常用的模型：布尔模型、向量空间模型、语言模型、概率模型等。 常用算法：MultiText算法、IBM的算法和SiteQ算法 2.2.3 步骤三：答案抽取 1. 候选答案集合的生成： 自然语言处理领域命名实体的识别已经能够达到非常好的效果，如隐马尔可夫模型HMM或者条件随机域模型CRF 2. 答案提取：（获取最佳答案） 基于表层特征的答案提取（判断相关度、出现次数等） 通过关系抽取答案（判断逻辑语义关系） 通过模式匹配抽取答案 利用统计模型抽取答案 2.3 基于问题答案对的问答系统 FAQ和CQA的对比 FAQ：基于常问问题列表 CQA：基于社区问答 FAQ具有量大、问题质量高和组织好等优点，但是在特定领域问题数目相对较少，这个缺点制约了基于FAQ的问答系统的应用范围。 自2005年末以来，一种新的问题答案对形式的数据开始大量出现，即CQA数据，不仅问题答案对的数量大，而且在特定领域问题答案对数目也特别多，同时还在不断增加。相对FAQ问题答案对，CQA数据中的问题答案对的质量参差不齐，而且用语不规范，有很多口语和省略语。 2.3 基于问题答案对的问答系统 2.3.1 问题处理部分 除了前文用到的技术外，还涉及3个研究方向： 1. 问题的主客观分析 2. 问题的紧急性分析 根据特征分类，例如SVM和决策树 3. 研究query生成问题 由于CQA问题答案对数量巨大，微软研究院的Lin指出用户只提出一个查询(query)，然后通过这个查询生成其对应的问题，就可以在CQA数据中找到相应的答案返回给用户。 文中没有给出具体的解决方案，但这是一个待研究的有趣问题。 2.3.2 信息检索部分 基于问题答案对的问答系统已经有了问题和对应的答案，不必在文本中搜寻答案，因此在检索部分只需找到和问题类似的问题，然后返回答案或者相似问题列表即可。 研究方向： 1. 问题答案对的检索模型 2. 问题答案对