中文搜索引擎中中文分词应用.docVIP

中文搜索引擎中中文分词应用 　　摘 要 网络信息的急剧增长给人们搜索信息带来一定的困难，搜索引擎的出现及时地解决了这个问题。而在搜索引擎中核心的部分之一是中文分词算法，它在一定程度上影响着检索的速度。简单介绍中文分词的重要性、方法以及现在存在的问题，对中文分词的进一步发展提供一定的依据，推动搜索引擎发挥越来越强大的作用。 　　关键词 搜索引擎；中文分词；网络信息 　　中图分类号：TP393.01 文献标识码：B 文章编号：1671-489X（2013）03-0067-02 　　Chinese Search Engine in Chinese Word Segmentation Application//Zhu Lili 　　Abstract The rapid increase of network information search information for people to bring certain difficulty. Search engine solute to the problem timely. The search engine is one of the core of the Chinese word segmentation algorithm. To a certain extent it affects the speed of retrieval. This paper focuses on the simple introduction about Chinese word importance， methods and the problems. To provide further development for the Chinese word segmentation. Allows search engines to play an increasingly strong role. 　　Key words search engine； Chinese word segmentation； network information 　　1 引言 　　随着科技时代的发展，网络越来越成为人们生活中的重要部分，特别是网络信息的急剧增长使人们获取信息的方式发生了极大的改变。相比于以前翻阅纸质书籍，现在的人们更喜欢在网络上寻找自己想要的信息，这不仅可以极大地提高搜索信息的效率，而且可以增加搜索信息的广度和深度。基于此，搜索引擎便应运而生，搜索引擎可以让人们在海量的信息中更快地搜索到自己想要的资源。而搜索引擎在面向用户接口这个层面上，比较重要的技术是中文分词技术，所以本文先简要地介绍一下搜索引擎，在此基础上进一步阐述中文分词技术在搜索引擎中的重要作用以及相应的应用。 　　2 搜索引擎 　　面对海量的网络信息，搜索引擎的出现给人们查找自己想要的资源带来了极大的便利。搜索引擎是一种在网络上应用的软件系统，它有自己的检索数据库，这个也是系统的核心部分，检索数据库的形成是先通过在Web上自行收集的大量的信息，然后对这些信息进行相应的处理，以便能够形成可以用于检??的数据库。从用户的角度来看，这个软件系统提供给了用户一个可以用于检索的界面，用户从这个界面中输入自己想要查询的内容，系统会根据用户输入要求，提供给相应的检索结果。搜索引擎的原理可以简单描述为三步：从网络上收集相应的网页——建立相应的索引数据库——在索引数据库中进行相应的检索。 　　搜索引擎的出现为网络信息的发展提供了很大的发展空间，由于搜索引擎的技术首先是在国外发展的，所以对于英文信息的搜索引擎技术现在来说已经是比较成熟的了，而对于中文信息的处理的搜索引擎相比较来说就没有那么完善。一方面来说是因为搜索引擎在中国出现得比较晚，加之中文的复杂性等原因，中文搜索引擎还需要进一步地发展完善。下面就对在中文搜索引擎中所用到的中文分词进行简要的介绍。 　　3 搜索引擎中的中文分词 　　3.1 中文分词的重要性 　　随着科技社会的快速发展，网络信息也越来越发挥着重要的作用，信息量也是愈加的丰富，在给人们带来便利的同时也带来了一些困扰，如何能够在浩海如烟的信息中快速地搜索到自己想要的信息？搜索引擎的出现及时解决了这个问题，如比较熟悉的百度、谷歌等网站都已经将搜索引擎做到了极致，使人们能够快速搜索到自己想要的资源。搜索引擎一般是以词为基本单位进行相应的检索，这样就要求将输入的中文句子切分成相应的词语，这就涉及到其中比较重要的技术——中文分词技术，它是机器翻译、信息检索的重要基础。 　　中文分词是什么呢？先来了解一下分词。分词就是将词语从一整个句子中划分出来，这个过程称之为分词。学习过英语的人都了解，英语词与词之间的间隔是