搜索引擎优化技术培训.pptVIP

四、查询/存储技术、Cache Server介绍 (一) 查询/存储技术： “词库索引数据”的存储采用内存存储方式: 对于每一篇网页内容，采用存储的分词算法进行处理，分出来的词为最多的分法，方便对各个相关字词都能建立索引。 所有的网页内容都以按照排序算法从大到小的顺序排列好，所以，每个字词的网页索引队列也是按照排序算法从大到小的排列。 词库中所有字词，都是按照Hash分布来排列，便于查询词分词后能够快速找个各个词库中字词对于的网页结果ID队列。 第三十一页，共六十页。 四、查询/存储技术、Cache Server介绍 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (1)对搜索词进行分词处理，看能分出来多少个字词； 举例说明： 比如说用户的搜索词为“屈波搜索引擎”，系统在接到这个查询语句后，对其进行查询词分词处理，分词后为“屈波”+“搜索引擎”。 用户查询词 屈波搜索引擎 屈波+搜索引擎 查询词分词后 第三十二页，共六十页。 四、查询/存储技术、Cache Server介绍 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (2)通过Hash查找到步骤(1)中各个字词的网页ID队列； 举例说明： 系统得到“屈波”和“搜索引擎”各自的Hash值，比如说Hash值“屈波”为256， “搜索引擎” 为1024，然后找到这两个词各自的网页ID队列，如下图所示两个队列为“网页ID队列2”和“网页ID队列4”。 屈波 256 256 屈原 …… …… 屈波 网页ID序列1 网页ID序列2 …… 搜索引擎 1024 1024 搜索 搜索引擎 网页ID序列3 网页ID序列4 …… …… 第三十三页，共六十页。 四、查询/存储技术、Cache Server介绍 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (3)对步骤(2)中找到个各个网页ID队列做“与”、“或”、“非”的逻辑运 算； (4)获得最后的搜索结果网页ID队列。 举例说明： “屈波”和“搜索引擎” 对应队列为“网页ID队列2”和“网页ID队列4”，对这两个队列做“与”运算。 屈波 网页ID序列2 1,3,5,9,11 搜索引擎 网页ID序列4 1,2,5,8,11 与运算 1, 5, 11 网页ID序列 第三十四页，共六十页。 四、查询/存储技术、Cache Server介绍 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (5)完成分页显示处理，计算出最后要显示的各个网页ID队列(互联网搜索网页时一般每页显示10条,所以,这个数目最多为10)，通过这些网页ID，查找到相关的网页结构体存储内容，显示搜索结果给用户。 举例说明： “屈波”和“搜索引擎” 是用户查询词进行分词出来的两个词，在具体的网页标题和网页内容摘要中，分别对这两个词做红色醒目标记。 第三十五页，共六十页。 四、查询/存储技术、Cache Server介绍 (二) Cache Server： WebServer在接受到搜索请求后，对搜索结果完成查询时分词处理，然后向“索引服务器”发出查询请求， “索引服务器”返回结果；WebServer对结果进行必要处理，然后向“网页内容”服务器通信，获得各个网页内容；最后WebServer给用户显示搜索结果。 WebServer 索引服务器 Index Server 网页内容服务器 Page Content Server 用户 第三十六页，共六十页。 四、查询/存储技术、Cache Server介绍 (二) Cache Server： 在对用户行为进行分析后发现，非常多的查询词经常被用户查询，这些词被称为“搜索高频词”。为此，设计出来Cache Server(CS)用于存储这些高频词的搜索结果，每当后台系统更新后，这些高频词先进行查询，然后把查询结果放到CS中，从而减少系统后台压力。 WebServer 用户 CS 索引服务器 Index Server 网页内容服务器 Page Content Server 第三十七页，共六十页。 四、查询/存储技术、Cache Server介绍 (二) Cache Server： CS还可以部署在“索引服务器”、“网页内容服务器”和WebServer之间，提高这两个后台服务器的效率。 WebServer CS CS 索引服务器 Index Server 网页内容服务器 Page Content Server 第三十八页，共六十页。 四、查询/存储技术、Cache Server介绍 (二) Cache Server： CS自我定期更新策