搜索引擎算法调研报告.docVIP

搜索引擎算法调研报告 在对搜索引擎的算法进行了解、调研前，我觉得很有必要了解一下搜索引擎。同时，了解搜索引擎算法是解决什么问题的算法。随着信息技术的发展，搜索引擎这一系统每天都在为大量的用户提供信息检索服务。搜索引擎是万维网中的信息检索系统。它的定义为：搜索引擎是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，将信息显示给用户，为用户提供检索服务的系统。简单的说搜索引擎就是替大家在信息容量巨大的万维网之中，找到你所需要的资讯服务。简单的对搜索引擎进行分类，也就两种。一是全文索引式的搜索引擎，比如Google Bing，百度。二是目录索引式的搜索引擎，比如Yahoo，新浪。对于目录索引来说，其虽有搜索功能，但严格来说不能称为真正的搜索引擎。目录索引只是按目录分类的网站链接列表而已。因此，我对搜索引擎算法的调研只是局限于对全文索引式搜索引擎系统中各个算法的简单了解与学习。了解一个算法，首先要明确的就是这一算法解决的是什么问题，数值计算或数据处理等等。因此，首先了解一下全文索引式搜索引擎系统的组成，了解这一系统的工作原理，这一系统具体解决什么问题。 我所关注的全文索引搜索引擎系统，按照其原理，可以分成三个部分。第一个部分是从互联网上抓取网页，第二部分是建立索引数据库，第三部分是在索引数据库中进行搜索排序。在搜索引擎进行第一步工作，即从互联网上抓取网页时，是依靠一种抓取程序工作的。这一抓取程序有好几种说法，蜘蛛程序（Spider），爬虫程序（Craw），机器人程序(Robot)。这时的工作就是通过网络上的各种链接自动获取大量网页信息内容。在这一步完成之后，只是获取了大量的网页信息，这些信息是杂乱无章的，或是毫无重点的。所以后两部分的工作就是要按一定的规则分析整理这些网页信息，从而建立数据库，在用户提出检索时提供出排序好的索引内容。从这里就可以看出，搜索引擎的算法一般就是指解决如何对网页信息分析整理的算法。当然，在搜索引擎系统进行网页内容获取时，也是按照一定的算法进行的。但我主要关注与搜索引擎??何对网页内容进行分析整理的算法的了解。 通过文献的查阅，通过搜索引擎的帮助。了解到，网页分析算法在十几年发展以来，大致可以分为基于网络拓扑、基于网页内容和基于用户访问行为共三种类型。 基于网络拓扑的分析算法就是基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的网页或网站做出评价的算法。也就是所谓的链接分析算法。链接分析算法有PageRank算法，HITS算法，以及SALSA PHITS Bayesian等算法。下面是对PageRank和HITS算法的一点简单介绍。以下的介绍是通过对网络上的相关内容进行整理而来的。 PageRank算法 PageRank算法是google的算法。Google的体系结构类似于传统的搜索引擎，它与传统的搜索引擎最大的不同处在于对网页进行了基于权威值的排序处理，使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的PageRank值，从而决定网页在结果集中的出现位置，PageRank值越高的网页，在结果中出现的位置越前。 PageRank算法基于下面2个前提： 前提1：一个网页被多次引用，则它可能是很重要的；一个网页虽然没有被多次引用，但是被重要的网页引用，则它也可能是很重要的；一个网页的重要性被平均的传递到它所引用的网页。这种重要的网页称为权威（Authoritive）网页。 前提2：假定用户一开始随机的访问网页集合中的一个网页，以后跟随网页的向外链接向前浏览网页，不回退浏览，浏览下一个网页的概率就是被浏览网页的PageRank值。 简单PageRank算法描述如下：u是一个网页，是u指向的网页集合，是指向u的网页集合，是u指向外的链接数，显然=|??| ，c是一个用于规范化的因子（Google通常取0.85），（这种表示法也适用于以后介绍的算法）则u的Rank值计算如下： 这就是算法的形式化描述，也可以用矩阵来描述此算法，设A为一个方阵，行和列对应网页集的网页。如果网页i有指向网页j的一个链接，则，否则＝0。设V是对应网页集的一个向量，有V=cAV，V为A的特征根为c的特征向量。实际上，只需要求出最大特征根的特征向量，就是网页集对应的最终PageRank值，这可以用迭代方法计算。 ?如果有2个相互指向的网页a，b,他们不指向其它任何网页，另外有某个网页c，指向a，b中的某一个，比如a，那么在迭代计算中，a，b的rank值不分布出去而不断的累计。如下图： ?为了解决这个问题，Sergey Brin和Lawrence Page改进了算法，引入了衰退因子E(u)，E(U)是对应网页集的某一向量，对应rank的初始值，算法改进如下：