网络爬虫de基础知识技术方案.pptVIP

4.1 Google爬虫 斯坦福大学设计了用于Google的爬虫 早期的Google爬虫系统由5个模块处理不同的任务。一个URL服务器从磁盘文件读URL列表并将其转发到Crawler上。每个Crawler单独运行在一台机器上，采用单线程异步10方式，一次维持300个连接并行爬行。Crawler将网页传输到存储服务器上压缩并保存。索引进程从HTML页面中抽取链接并存放在不同的文件中。一个URL解析器读取这些链接文件并转化为绝对路径，由URL服务器读取。 后期Google的改进主要有： (1)采用自有的文件系统(GFS)和数据库系统(Big Table)来存取数据； (2)采用Map Reduce技术来分布式处理各种数据的运算。 4.2 Mercator 康柏系统研究中心的AIlan Heydon和Marc Najork设计了名叫Mercator的爬行器。系统采用Java的多线程同步方式实现并行处理，并加入了很多优化策略如DNS缓冲、延迟存储等以提升爬行器运行效率。它采用的数据结构可以不管爬行规模的大小，在内存中只占有限的空间。这些数据结构的大部分都在磁盘上，在内存中只存放有限的部分，伸缩性很强。 4.3 北大天网 北大天网是国内高性能网络爬虫的先行者，它的架构经历了集中式向分布式的改进，能够胜任10亿级的网页搜索，其基于站点的两阶段哈希机制有效地解决了搜索过程中Crawler动态加入和退出的问题。 4.4 Internet Archive Internet Archive的每台Crawler同时对64个站点进行爬行，每个站点被唯一分派到一个Crawler上。Crawler从磁盘上读取URL列表，采取异步10方式下载网页，并抽取链接。如果该链接属于本机抓取，则放入待抓取列表，存到磁盘上，并周期性地传送到其它Crawler上。 4.5 UbiCrawler UbiCrawler项目是一个高性能的爬虫，主要侧重于完全分布性和高容错率。它的主要特性包括：平台独立性、良好的伸缩性、高效的分配函数、各功能模块的完全分布式、没有单点故障的问题。 5、演示 BEA Confidential. | * 网络爬虫 1、网络爬虫简介 2、通用网络爬虫和聚焦爬虫 3、网络爬虫的抓取策略 4、几种常见的网络爬虫 5、演示 1、网络爬虫简介 1.1 定义 1.2 用途 1.3 原理 1.1 网络爬虫定义 网络爬虫（Crawler）又被称为网页蜘蛛，网络机器人，在FOAF（Friend-of-a-Friend）社区中，更经常的被称为网页追逐者，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 1.2 用途 很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要是提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速访问。 爬虫可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。 1.3 原理 一个网络爬虫就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。 2、通用网络爬虫和聚焦爬虫 2.1 前言 2.2 通用网络爬虫 2.3 聚焦爬虫 2.4 两种爬虫比较 2.1 前言 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性：通用网络爬虫的目标就是尽可能多地采集信息页面，在采集时只关注网页采集的数量和质量，并不考虑网页采集的顺序和被采集页面的相关主题。 为了解决通用搜索引擎的局限性，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫与通用爬虫不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。 2.2 通用网络爬虫 通用网络爬虫从种子链接开始，不断抓取URL网页，将这些URL全部放入到一个有序的待提取的URL队列里。Web信息提取器