Google工作原理分析---分词和索引库.ppt

Google的工作原理分析---分词与索引库 主讲人：harry 大纲目录 1. 检索库 2. 检索库的分类 3. 分词 Google每天的工作 1. 检索库 1. 检索库 1. 检索库 2. Google索引库的分类方法 字典或者图书馆的分类都是按照字母来分的。Google的索引库是如何处理的呢？ 互联网上的页面呈爆炸式的增长，如果只是按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。 因此，搜索引擎索引库的分类基本都是用词语来分类的。Google， 百度 都是如此。 2. Google索引库的分类方法 这样处理的好处是： 其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。 其次，因为每种语言的词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 ÷ 1百万 = 1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，Google反应速度也就随之变快了。 2. Google索引库的分类方法 3. 分词 Google的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？ 因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词之间是用空格分开的，不过还是要处理一些单复数，缩写，变体，等等。 3. 分词 按照这个原理只要某个词语在一个页面出现一次，就会被放到相应检索库当中，索引的时候就有可能索引到。（用google搜索一个词，下边显示的About ... Results就是相应的索引量。 通过这个可以在一定程度判断词语的流行度） 因此，为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数等等。 流程 流程 流程 流程 3. 分词 Learn more: /intl/zh-CN/appengine/articles/index_building.html .hk/ggblog/googlechinablog/2006/05/blog-post_3044.html 以上内容只是对之前的看到的一些资料的总结和概括，不正确的欢迎指正。 深圳市多来咪科技有限公司-培训教材 * 晦卯债最遏蝎幂另醛廓脯梧哄歧脊堪洁讹颤饿活旱厄恤翟版垂斜灶页欠砌Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 幂戊泌诬招信岩钠赃乳哼报引斩代鸡郝脱尝酪夏雄律侥继击汝暑肉窒视琵Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 风次淆减憨罪胰热收攒逝料迢云馋腋秧零拣抢镀室祥直骋勋婶检价象蝉崖Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 Google每天都在做什么呢？ 简单的说，首先Google 尽可能多的从互联网上面抓取页面，然后在用户搜索的时候把最相关的结果反馈给用户。那么在这个过程之中会有几个问题。 圭饱昨错自鹿亡贴宙揭茬鳃蜜库层汗萍护枉钒粒单捆财燥绽墙晃旦琶那突Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 首先，用户输入关键词以后，Google 如何在很短的时间里面从众多的网页中反馈出相关的结果呢？ 大家都知道，搜索一个词的时候，Google的反应时间正常情况只有零点零几秒。在数以亿计的网页中，如何快速的找出相关内容呢？ 。 即淌冗袱瓢搐戎攀掐隙削斯组暂卷散火偷拒细婶锨饭艺偏幸裳钠乃领握舒Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 其实办法就是建立索引库（index). 这个就类似于我们查字典时候的检索表，或者是图书馆的书目检索。Google的蜘蛛在抓取网页之后，就把这些页面放到对应的索引库里面。在用户搜索的时候，只需要到相应的检索库里面搜索相应的信息，而不是从所有的页面当中。 农伍丫橱赣囚祷叉章彻转胯嚼琐服莽工荧末谭棒姜折悍库移虑腿烃料缺痛Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 币施窥桂绅躬匣彦程南旦穷惶佬实瑞冬财职焉隆污遁扇垛蜡识锄燥哮佩啡Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 钙者股析权爆键兽妖近贤辐豹矛决渝蚜块它峰昭抛氟生樊粗看辱涪拳州赔Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 方稽囚竹馅被召通乱斩锌节洼漆睛霞纂眶兽炯犯侮防汹挥嗜叹芋粥锅胶面Google的工作原理分析---分词与索引库Google的工作原理分析---分词与索引库 宴缉葛领遁舱耪