Google的工作原理分析---分词与索引库.pptVIP

Google的工作原理分析---分词与索引库 主讲人：harry 大纲目录 1. 检索库 2. 检索库的分类 3. 分词 Google每天的工作 1. 检索库 1. 检索库 1. 检索库 2. Google索引库的分类方法 字典或者图书馆的分类都是按照字母来分的。Google的索引库是如何处理的呢？ 互联网上的页面呈爆炸式的增长，如果只是按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。 因此，搜索引擎索引库的分类基本都是用词语来分类的。Google， 百度 都是如此。 2. Google索引库的分类方法 这样处理的好处是： 其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。 其次，因为每种语言的词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 ÷ 1百万 = 1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，Google反应速度也就随之变快了。 2. Google索引库的分类方法 3. 分词 Google的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？ 因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词之间是用空格分开的，不过还是要处理