Heritrix网络爬虫的分析与实践.PDFVIP

pku Heritrix 网络爬虫的分析与实践 网络信息体系结构课程实习1 唐汉红 曾一凡 尹文鹏 吴迪 2010/10/25 目录 Abstract 2 Introduction 3 Method 4 1 运行环境配置4 2 源码分析4 2.1 友好型模块4 2.2 URL 判重模块5 3 对源码的修改6 3.1 原理介绍6 3.2 具体实现6 3.3 线程互斥问题7 4 PageRank 算法的实现8 Results 10 1 出度10 2 入度10 3 PageRank11 Discussion 13 References14 1 Abstract 本次实验使用开源网络爬虫Heritrix，以中国经济研究中心（CCER ）的网 站作为目标，进行了测试。并且在测试中通过分析、修改Heritrix 源代码，记 录下了搜索过程中的路径，从而构建出了目标网站的网页结构图。然后再应用 Rank 算法，对网站进行了重要页面排序。 2 Introduction 本次实验使用的爬虫Heritrix (1.14.4)是Internet Archive 开发的开源软 件。 Heritrix 采用Java 开发，它具有模块化、 高可定制性、配置简单、文档 丰富、界面友好等特点， 很适合用于教学实验或定制有针对性的网络爬虫。 i 软件包中提供了详尽的用户手册和开发手册，用户手册中包含了配置Heritrix 的详细说明，而开发手册中则其中包含了Heritrix 的整体结构说明和各个模块 的功能，以及Heritrix 中的包、类之间关系。软件包中还提供了定制模块的范 例，方便用户参照范例根据自己的需求定制各个模块。此外，Heritrix 在抓取 的过程中统计了各种数据，并以日志文件的形式存放在磁盘上，便于用户进行 统计分析。 PageRank 算法是用于对网页的重要性进行评判的一种算法，是目前公认 的高效算法。它在衡量页面重要程度的时候，综合了页面的入度，链入页面的 ii 重要性以及用户随机访问等因素 。 3 Method 1 运行环境配置 iii Heritrix 工具是用java 编写的，所以首先要配置java 的编译和运行环境 。 若在windows 系统下，先安装jdk 包，然后安装eclipse 。如果在linux 环境下 （以ubuntu 为例），配置好更新源后，使用apt-get install eclipse 命令即可。 然后下载Heritrix 源代码包，将其导入为一个java 工程，进行一些简单配 置后即可运行。 Heritrix 运行的是一个后台的webapp ，需要从浏览器上通过相应ip 地址 和端口号以及用户认证进行访问，在网页上向服务器发出命令。运行完后的结 果，将存放在工程根目录中的jobs 目录底下。 2 源码分析 2.1 友好型模块 搜索引擎的友好性是指，在搜索引擎下载别人的网站的时候，需要保证对 方网站的正常工作，不对它造成过大负担。 Heritri