中文分词技术在搜索引擎中应用.docVIP

中文分词技术在搜索引擎中的应用 　　【摘要】 信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。本文主要探讨了中文分词技术在搜索引擎中的应用,从而为更好地检索信息提供方便。 　　【关键词】 搜索引擎 中文分词 　　 　　21世纪,因特网飞速发展,信息的收集变得比较方便。由于因特网上的信息是极其无序的,信息量越大,越难被利用。因此如何获取和利用因特网上的信息就成了一个大问题。目前解决这一问题的最佳途径是利用搜索引擎。随着搜索市场价值的不断增加,越来越多的公司开发出自己的搜索引擎,阿里巴巴的商机搜索、8848的购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人员关注的热点。 　　因特网上的信息呈几何级数增长,快速有效地查询信息是一项艰巨的任务,这个需求直接导致了广域网信息检索技术的快速发展,各类???索引擎层出不穷。但是如同因特网上的信息一样,搜索引擎的发展本身也是无序的,如何选择最符合需要的搜索引擎,通过其在因特网上找到我们所需要的信息,也是一个需要研究和解决的课题。因此,本文对中文搜索引擎作了一个粗浅的介绍,使现有的中文搜索引擎发展得更快更好。 　　虽然在国外搜索引擎技术早就开始研究,但在国内还是陆续涌现出优秀的搜索引擎,像百度(http://www.省略)等。目前在中文搜索引擎领域,国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面,有一个重要的原因就在于中文和英文两种语言自身的书写方式不同,这其中对于计算机涉及的技术就是中文分词。 　　一、搜索引擎和中文分词 　　本文所称的搜索引擎是指因特网上专门提供查询服务的一类网站,这些网站通过网络搜索软件(又称为网络搜索机器人)或网站登录等方式,将因特网上大量网站的页面收集到本地,经过加工处理而建库,从而能够对用户提出的各种查询作出响应,提供用户所需的信息。用户的查询途径主要包括自由词全文检索、主题词检索、分类检索及其它特殊信息的检索(企业、人名、电话黄页等)。 　　西文单词的分隔相当清晰,用空格分隔。而中文的字词则不能简单地进行分隔,因此造成传统上就有不同的处理方法。一个是完全单汉字全文检索,即将文章中的每一个汉字都做进索引,而将用户的检索提问根据单汉字匹配的原则去进行检索。此法虽然能够保证有很高的查全率,但却经常返回一些杂乱无章的检索结果。所以说,这是较容易造成答非所问的处理方法。除此以外的方法则是根据一定的原则和方法来对文章进行自动分词,然后按词建库,对用户的检索结果按词汇匹配来进行查询。一般来讲,这种处理方法较容易返回符合用户检索词概念意义的检索结果,但是分词技术的好坏直接影响到查全率。从目前中文搜索引擎实际情况来看,绝大多数的搜索引擎采用分词的处理方法,因为这样除了较准确之外还能提高整个系统的检索响应效率。 　　中文分词的另一层意义是指的是,对于用户输入的查询语句进行自动分词,然后用分解后的词汇来进行检索,这种做法降低了用户在检索式组织上的工作量,提高了查全率和查准率。由于各搜索引擎在建库时是否分词,以及如何分词,这在检索界面上很难以作出判断,因此下文中关于中文分词的讨论一般是指对于用户的检索式自动进行分词。 　　二、中文分词技术的应用 　　中文分词技术在计算机中的处理过程就是分词算法。现有的分词算法可分为三大类:基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。 　　1、基于字符串匹配的分词方法 　　这种方法又叫做机械分词方法,它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。按照扫描方向的不同,串匹配分词方法可以分为正向匹配和逆向匹配;按照不同长度优先匹配的情况,可以分为最大(最长)匹配和最小(最短)匹配;按照是否与词性标注过程相结合,又可以分为单纯分词方法和分词与标注相结合的一体化方法。常用的几种机械分词方法如下: 1)正向最大匹配法(由左到右的方向);2)逆向最大匹配法(由右到左的方向);3)最少切分(使每一句中切出的词数最小)。还可以将上述各种方法相互组合。 　　2、基于理解的分词方法 　　这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。在总控部分的协调下,分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断,即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。由于汉语语言知识的笼统、复杂性,难以将各种语言信息组织成机器可直接读取的形式,因此目前基于理解的