交换与路由期中论文网络爬虫研究.docVIP

网络爬虫技术研宄 姓名:王锂达 学号:2014110431 班级:2014111105 科研团队:信通院郭军组 一、起始 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成 为一个巨大的挑战。搜索引擎，例如传统通用的搜索引擎AltaVista，Yahoo!和Google等，作 为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索 引擎也存在着一定的局限性，如：不同领域、不同背景的用户往往具有不同的检索目的和耑 求，通用搜索引擎所返冋的结果包含大量用户不关心的网页。通用搜索引擎的H标是尽可能 大的网络镘盖率，有限的搜索引擎服务器资源与无限的网络数裾资源之间的矛盾将进一步加 深。万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不 同数据大量山现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力, 不能很好地发现和获取。通川搜索引擎大多提供基于关键字的检索，难以支持根据语义信息 提出的查询。 为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动 下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获 取所需要的信息。与通用爬虫不同，聚焦爬虫并不追求大的覆盖，而将0标定为抓取与某一 特定主题内容相关的网页，为面向主题的用户查询准备数据资源。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引 擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL,在抓 取M页的过程屮，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留 有用的链接并将其放入等待抓収的URL队列。然后，它将根据一定的搜索策略从队列屮选 择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所 有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查 询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反 馈和指导。 相对于通川网络爬虫，聚焦爬虫还谣要解决三个主要M题： 对抓取目标的描述或定义； 对网页或数据的分析与过滤； 对URL的搜索策略。 抓取目标的描述和定义是决定网贞分析算法与URL搜索策略如何制订的基础。而网页 分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页爬取行为的关 键所在。这两个部分的算法又是紧密相关的。 抓取目标描述：现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数裾模 式和基于领域概念3种。基于目标网页特征的爬虫所抓取、荏储并索引的对象一般为网站或 M页。 根据种子样本获取方式可分为： 预先给定的初始抓取种子样本； 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等； 通过用户行为确定的抓取目标样例，分为： 用户浏览过程中显示标注的抓取样本； 通过川户日志挖掘得到访M模式及相关样本。 二、发展过程 万维网高阔无边，为了最大限度利川有限的资源，我们耑要进行资源配置，并运用某些 策略使爬虫优先爬取重要性较高的网页。 目前主流的网页搜索策略主要有三，B|j:深度优先、广度优先、最佳优先。 深度优先，即从起始网页开始,选择一个URL,进入，分析这个网页中的URL,选择一 个再进入。如此一个链接一个链接地深入追踪下去，处理完一条路线之后再处理下一条路线。 有一个例子是：在封建制度中，封建帝王的继承制度是长子优先级最高，长孙次之，次子随 后。即如果长子去世，那么长孙的优先级比次子高。 该类爬虫设计时较为简单。然而深度优先型网络爬虫存在一个问题：门户网站提供的链接往 往最具价值，PageRank也很高，而每深入一层，网页价值和PageRank都会相应地有所下降。 这暗示了重要网贞通常距离种子较近，而过度深入抓取到的M贞却价值很低。 由于这个缺陷，广度优先策略产生了。 广度优先（又称宽度优先），即从起始网页开始，抓取其中所有链接的网页，然后从中 选择一个，继续抓取该网页屮的所有链接页而。 网络爬虫在抓取网页时普遍采用这种策略，这其中有两个原因： 第一，万维W的实际深度最大能达到17层，网页之间叫通八达，因此存在从-个网页到另 一个网页的最短路径闷题。如果采川深度优先，则有可能从一个PageRank很低的网页爬収 到一个PageRank实际很高的网页，不方便计算PageRank （个人理解）。 第二，采用宽度优先策略有利于多个爬虫并行爬取。这种多爬虫合作抓取通常是先抓取站内 链接，遇到站外连接就爬出去，抓取的封闭性很强。 广度优先策略的优点在于其设计