浅析汉语问答系统中句子检索方法.docVIP

浅析汉语问答系统中句子检索方法 　　摘要: 自动问答系统是自然语言理解研究领域中的热门方向,它综合运用了多种自然语言处理技术。本文首先简单介绍了问答系统中的几种关键技术,然后对问答系统中信息检索模块句子检索的方法和特点进行了分析。 　　Abstract: The automatic question and answering system(QA)is a hot research field in natural language understanding,which includes many kinds of NLP technologies.This paper introduces several key technologies of QA, then analyses methods and characteristics of sentence retrieval in Chinese question answering system. 　　关键词: 问答系统;自然语言理解;句子检索 　　Key words: QA;natural language understanding;sentence retrieval 　　中图分类号:TP391文献标识码:A文章编号:1006-4311(2010)14-0165-02 　　 　　0引言 　　自动问答系统(Automatic Question and Answering System)简称问答系统(QA),又称人机交互系统,是自然语言处理领域中一个非常热门的研究方向,它综合运用了各种自然语言处理技术。目前,英文问答技术的研究已经取得了大量的成果并出现了相对成熟的英文问答系统,而汉语自动问答技术的研究机构和成果并不是很多,基本还没有成型的中文问答系统。问答系统针对用户所提供的自然语言式的查询式,从相关文档中抽取并返回给用户准确的答案。由此可见,在问答系统中信息检索占有十分重要的地位,检索性能的高低决定了问答系统的运行效率和返回答案的准确性[1]。 　　1问答系统的原理及关键技术 　　问答系统包含知识存储、知识表示、信息抽取、自然语言处理等多方面的综合技术。基于自然语言处理的中文问答系统包括五个主要组成部分:问题理解、信息检索、信息处理、答案抽取、FAQ模块 [2]。有的学者也将问答系统的体系结构划分成三个主要部分:问题处理、信息检索和答案抽取[3-5]。不管如何划分,问答系统中的信息检索模块都是其最基本也是最重要的模块。 　　问题处理是指对用户用自然语言提出的问题进行词法、句法、语义分析等方面的预处理,从而获取用户查询的关键词以及问题所属类型等信息。信息检索通过传统的信息检索技术获得答案可能所在的文档,并对文档进行排序等处理。而答案抽取则是对信息检索所得到的候选文档进行各种分析抽取出答案返回给用户。 　　汉语问答系统主要涉及到如下几种关键技术: 　　1.1 分词及词性标注由于汉语书面语是连续书写的,因此计算机需要将汉字字串按词切分开并打上切分标志,该处理称为中文文本自动分词。中文文本的分词与词性标注是中文信息处理中特有的基础性问题[6]。 　　1.2 关键词抽取与扩展统计法是关键词抽取常用的和经典的方法,该方法通过确定候选词的权重并选取权重较大者作为最终的关键词。候选词的权重由它所反映的文献主题的重要性决定。 　　1.3 基于模式的句子相似度计算模式匹配的最终目标是获取用户提问的准确答案。通过定义和计算句子之间相似度完成模式匹配并检索出针对用户提问的准确答案的句子。 　　2汉语处理中句子检索的特点及方法 　　问答系统中的检索模块负责从网上或文本库中检索出大量的可能包含问题答案的文本,其检索方式有基于文档、基于段落等多种,目前大部分的问答系统的检索实际上都是在句子的基础上进行的。因此可以说,问答系统的检索基本上都是句子检索。 　　2.1 句子检索的特点虽然句子检索可以借鉴文本检索的大多数技术,例如向量空间模型、布尔模型、概率模型、语言模型等等,但是同文本检索相比,仍有其特点:①信息量少,词频不具有统计意义。在句子中,一般总的词次也就在1-10 这个数量级,词频超过 2 个的词很少(停用词除外)。②上下文信息匮乏。与篇章、段落信息相比,既没有结构上的信息(如段落位置),也没有内容上的背景信息。对于消解部分歧义词有着不利的因素。③重视顺序信息。通常篇章检索的结果,大多数只要覆盖用户的“关键词”(key words)就基本算是相关。但是在句子检索中,有时仅仅覆盖词是不够的,除了某些词出现,常常还要考虑顺序。例如“我们提高工作热情,把热量消耗的水平降下去”中,如果查询是“提高水平”,这个句子就不是很符合用户的需求,因为“提高”、“水平”之