论搜索引擎中文自动分词技术.docVIP

论搜索引擎中文自动分词技术 　　摘要]：目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。 　　 [关键字]：搜索引擎；中文分词；分词方法；分词难题 　　中图分类号：O229文献标识码：A 　　信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度等大型搜索引擎一直是人们讨论的话题。目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。 　　1什么是中文分词？ 　　中文分词技术就是搜索引擎针对用户提交查询的关键串进行的查询处理后，根据用户的关键词串用各种匹配方法进行的一种技术。中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。 　　2为什么要进行分词？ 　　汉语是世界上最古老和最丰富的语言之一，但是汉语语法才有将近一百年的历史，而且现代汉语白话文的形成历史也比较短，加上汉语自身的特点，因此它的形式化研究更加困难。对英文而言,是以词为单位,词与词之间有空格隔开,而中文是