搜索引擎技术基础.pptVIP

搜索引擎原理

目录一、搜索引擎总体介绍二、爬虫技术介绍三、中文分词和排序算法介绍四、查询/存储技术、CacheServer介绍(一)搜索引擎定义 “搜索引擎”技术，完全来源于历史悠久的全文检索技术。 “搜索引擎”从字面上可拆分为“搜”、“索”、“引擎”三个含义。 “搜”就是大量信息的抓取，抓取回来后的信息进行智能提取、排重、质量分析等处理。 “索”就是大量处理后信息的存储、信息排序、快速查询等。 “引擎”就是指系统不但能存储亿级的数据，而且还能有巨大的并发处理能力，这样的系统才有资格被叫着“引擎”。一、搜索引擎总体介绍搜索引擎主要核心技术：搜索引擎主要核心技术为:中英文分词语言处理；排序算法；网络爬虫；查询/存储技术（三）搜索引擎的组成部分搜索引擎一般包括四个组成部分：搜索器、索引器、检索器、用户接口搜索器（爬虫SPIDER）的功能是在Internet中漫游，发现和搜集信息。索引器(INDEXER)的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于描述文档以及生成文档集的索引表。检索器(SEARCHER)的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。用户接口(USERINTERFACE)的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。系统图：”爬虫技术总体介绍：网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。网络爬虫使用多线程技术，让爬虫具备更强大的抓取能力。网络爬虫还要完成信息提取任务，对于抓取回来的网页提取出来:新闻、电子图书、行业信息等。对于MP3、图片、Flash等各种不同内容，要实现自动识别、自动分类及相关属性测试（例如：MP3文件要包含的文件大小，下载速度等属性）。(二)抓取对象： 1.静态网页：爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。2.动态网页:分析动态网页参数，按照一定规章，“拼”出所有要被抓取内容URL，只抓取这些特定范围内动态网页。 3.特殊内容：比如RSS、XML数据，情况特殊需特殊处理。如新闻的滚动新闻页面，需要爬虫不停地监控扫描，发现新内容马上就进行抓取。 4.文件对象：图片，MP3、Flash、视频等文件的抓取，都要特殊处理。比如说：图片抓取出来后，要知道图片文件类型、图片文件的大小、图片的像素大小，还要转换出来缩略图。(三)抓取策略： 1.深度优先策略：对于一些大网站及静态网页为主的抓取内容，采取深度策略抓取，便于在最短时间内获得最大量内容。2.广度优先策略:对于一些动态网页或小网站，采取广度策略抓取，同时对多个网站进行抓取，减小对各个小网站的压力，避免造成恶意攻击。 3.合作抓取策略:由被抓取网站，提供可被抓取内容的sitemap网站地图，双方协议好，只抓取这些特定内容，在抓取速度及时间上双方前期进行协商。另外还可以完全由被抓取方，提供详细内容，抓取过程都可以省略一些步骤。三、中文分词和排序算法介绍下面的中文断句，来自百度广告宣传片:「我知道你不知道我知道你不知道我知道你不知道」中文本身存在着很大的歧义性，同样一句话，不同的断句，表达的意思就不一样。这对于计算机去做机器分析，就带来了巨大的困难。中文分词：(一)中文分词： 另外中文的具体含义，还必须放在具体的前后语言环境中去分析。 比如说： 「乒乓球拍卖完了」 我去学校商店，发现「乒乓球拍卖完了」 在今天的慈善拍卖会上，世界冠军们夺冠时的「乒乓球拍卖完了」 中文分词，在具体的算法实现上分为三种： 1.字符串匹配(正序、逆序、最少切分、最大切分等) 2.基于理解（词法，句法等方式处理） 3.基于统计 在中文搜索引擎中，目前基本上是这三种算法混合使用。第二种的算法实现起来过于复杂，所以以第一种和第三种算法为主。(一)中文分词： 语言本身也是在不停的进化和发展的，新的词语层出不穷，一些老的词语渐渐被弃用。作为中文分词的基础词库，其新词补充和老词删除就是非常重要的工作。 “超级女声”、“超女”、“李宇春”、“八荣八耻”、“非典”，当这些新词的出现时，搜索引擎需要快速捕捉到，并且马上把其添加到分词系统中去。 如何判断那些词是新词，这就全部倚靠算法来实现。新词捕