「百度搜索引擎中文分词与文本粒度」.pdfVIP

百度搜索引擎的目的就是在满足绝大部分用户的需求下提供最精确最丰富的搜索结果 , 对于搜索引擎而言,用户停留时间越短,越说明搜索引擎的高效性和准确性，不管是百度的轻 应用、知心搜索,还是谷歌的语义搜索、蜂鸟算法,或是 3６0 的我的搜索,都是为了能够帮助 人们更方便的找到所求。 而对于搜索引擎而言,想要给用户最需求的就需要去判断用户搜索词的意图。而搜索引 擎尽管非常高效，数据库非常庞大，但它毕竟不是那么智能,不能直接判断出搜索词的意思， 尽管谷歌已公布可以借助更加复杂的搜索请求更好的理解人类语言的概念，而不是一些零散 的单词，这样的搜索能提供更加精准的结果,即整句搜索。但这只是一小步,搜索引擎不论是 进行索引还是网页排序仍需要对文本进行切分，即中文分词。分词仍然是最基础也是最重要 的。而在中文分词过程中文本粒度起到关键性的作用。 文本粒度所谓文本粒度,对于搜索引擎而言：粒度是衡量文本所含信息量的大小。文本 含信息量越多,粒度就越大，反之就小。有人会说那简单啊,当然词越长含有的信息量就越大， 你确定?那木木ＳＥO 告诉你一个小玩意：肌联蛋白是目前已知的最大蛋白质，名字足足有 18９819个字母,是名副其实最大的单词。这个单词的信息量是有多大?闲话不多说，先来看 下面几组词中，哪些的粒度大，哪些的粒度小。 萝卜、葡萄、乒乓龙井