搜索引擎技术介绍-课件.pptVIP

搜索引擎技术介绍屈波2007年8月 目录 一、搜索引擎总体介绍 一、搜索引擎总体介绍 一、搜索引擎总体介绍 一、搜索引擎总体介绍 一、搜索引擎总体介绍 一、搜索引擎总体介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 二、爬虫技术介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 三、中文分词和排序算法介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 四、查询/存储技术、Cache Server介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 五、内部、外部监控系统介绍 六、移动通信运营商搜索引擎独特优势 六、移动通信运营商搜索引擎独特优势 六、移动通信运营商搜索引擎独特优势 六、移动通信运营商搜索引擎独特优势 六、移动通信运营商搜索引擎独特优势 六、移动通信运营商搜索引擎独特优势 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (1)对搜索词进行分词处理，看能分出来多少个字词； 举例说明： 比如说用户的搜索词为“屈波搜索引擎”，系统在接到这个查询语句后，对其进行查询词分词处理，分词后为“屈波”+“搜索引擎”。 用户查询词 屈波搜索引擎 屈波+搜索引擎 查询词分词后 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (2)通过Hash查找到步骤(1)中各个字词的网页ID队列； 举例说明： 系统得到“屈波”和“搜索引擎”各自的Hash值，比如说Hash值“屈波”为256， “搜索引擎” 为1024，然后找到这两个词各自的网页ID队列，如下图所示两个队列为“网页ID队列2”和“网页ID队列4”。 屈波 256 256 屈原 …… …… 屈波 网页ID序列1 网页ID序列2 …… 搜索引擎 1024 1024 搜索 搜索引擎 网页ID序列3 网页ID序列4 …… …… (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (3)对步骤(2)中找到个各个网页ID队列做“与”、“或”、“非”的逻辑运 算； (4)获得最后的搜索结果网页ID队列。 举例说明： “屈波”和“搜索引擎” 对应队列为“网页ID队列2”和“网页ID队列4”，对这两个队列做“与”运算。 屈波 网页ID序列2 1,3,5,9,11 搜索引擎 网页ID序列4 1,2,5,8,11 与运算 1, 5, 11 网页ID序列 (一) 查询/存储技术： 搜索引擎常规存储/查询步骤如下： (5)完成分页显示处理，计算出最后要显示的各个网页ID队列(互联网搜索网页时一般每页显示10条,所以,这个数目最多为10)，通过这些网页ID，查找到相关的网页结构体存储内容，显示搜索结果给用户。 举例说明： “屈波”和“搜索引擎” 是用户查询词进行分词出来的两个词，在具体的网页标题和网页内容摘要中，分别对这两个词做红色醒目标记。 (二) Cache Server： WebServer在接受到搜索请求后，对搜索结果完成查询时分词处理，然后向“索引服务器”发出查询请求， “索引服务器”返回结果；WebServer对结果进行必要处理，然后向“网页内容”服务器通信，获得各个网页内容；最后WebServer给用户显示搜索结果。 WebServer 索引服务器 Index Server 网页内容服务器 Page C