搜索引擎原理.pdfVIP

搜索引擎原理

1.搜索引擎的概念

在浩瀚的网络资源中，搜素引擎(SearchEngine)是一种网上信息

检索工具，它能帮助用户迅速而全面地找到所需要的信息。我们这样

对搜索引擎进行定义：搜索引擎是一种能够通过因特网接受用户的查

询命令，并向用户提供符合其查询要求的信息资源网址的系统。据统

计，搜索引擎搜索仅次于电子邮件的应用。目前网上比较有影响的中

文搜索工具有：google、百度、北大天网、爱问（iask）、雅虎

（yahoo！）、搜狗（sogou）、搜搜（soso）等搜索引擎。英文的

有：Yahoo!、AltaVista、Excite、Infoseek、Lycos、Aol等。另外

还有专用搜索引擎，例如专门搜索歌曲和音乐的；专门搜索电子邮件

地址、电话与地址及公众信息的；专门搜索各种文件的FTP搜索引擎

等。

搜索引擎是指根据一定的策略，运用特定的计算机程序搜集互联

网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系

统。搜索引擎并不是真正的互联网，它搜索的实际上是预先整理好的

网页索引数据库。真正意义上的搜索引擎，通常指的是收集了互联网

上几千万到几十亿个网页并对我那个也中的每一个词（即关键词）进

行索引。建立索引数据库的全文搜索引擎。现在的搜索引擎已普遍使

用超链分析技术，除了分析索引网页本身的内容，还分析索引所有指

向该网页的链接的URL、Anchor、Text，甚至链接周围的文字。所以，

有时候，即使某个网页A中并没有出现某个词，比如

“信息检索”，但如果有网页B用链接“信息检索”指向这个网

页A，那么用户搜索“信息检索”时也能找到网页A。而且，如果有越

多的网页的“信息检索”链接指向网页A，那么网页A在用户搜索

“信息检索”时也会被认为更相关，排序也会越靠前。

搜索引擎的原理，可以分为四步：从互联网上抓取网页、建立索

引数据库、在索引数据库中搜索排序、对搜索结果进行处理和排序。

(1)、从互联网上抓取网页：利用能够从互联网上自动收集网页的

蜘蛛系统程序，自动访问互联网，并沿着任何网页中所有URL爬到其

他网页，重复这个过程，并把爬过的所有网页收集回来。

(2)、建立索引数据库：由分析索引系统程序对收集回来的网页进

行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内

容包含的关键词、关键词位置、生成时间、大小、与其他网页的链接

关系等），并根据一定的相关度算法进行大量的复杂计算，得到每一

个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），

然后利用这些相关信息建立网页索引数据库。

(3)、在索引数据库中搜索排序：当用户输入关键词后，由搜索系

统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为

所用相关网页针对该关键词的相关度早已计算好，所以只需按照现成

的相关数值排序，相关度越高，排名越靠前。最后由页面生成系统将

搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

(4)、对搜索结果进行处理排序：所有相关网页针对该关键词的相

关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关

数值度，然后进行排序，相关度越高，排名越靠前。最后由页面生成

系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用

户。

搜索引擎的分类

搜索引擎的技术基础是全文检索技术。全文检索通常指文本全文

检索，包括信息的储存、组织、表现、查询、存取等各个方面，其核

心为文本信息的索引和检索，一般用于企事业单位。随着互联网信息

的发展，搜索引擎在全文检索技术上逐渐发展起来，并得到广泛的应

用，但搜索引擎还是不同于全文检索。搜索引擎和常规意义上的全文

检索主要区别有以下几点。

(1)、数据量。

传统全文检索系统面向的是企业本身的数据或者和企业相关的数

据，一般索引数据库的规模多在GB级，数据量大的也只有几百万条；

但互联网网页搜索需要处理几十亿的网页，搜索引擎的策略都是采用

服务器群