北京大学-技术报告.docVIP

北京大学-技术报告 用heritrix抓取指定网页的探索 与源码分析 姓 名 一: 付 卓 1001213188 姓 名 二: 韩元波 1001213555 姓 名 三： 张文娟 1001213574 姓 名 四: 赵红梅 1001213576 小组 名称： 很 土 的 豆 年 级: 2010级 指导 教师： 彭 波 用heritrix抓取指定网页的探索与源码分析 【摘 要】 Heritrix 是个 archival crawler -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。在Week2的web crawler系统结构下, Heritrix系统里面的crawler的下面有四个部分: page fetching、isPageKnown 、isUrlVisited 、Politeness，我们需要分析isUrlVisited 、Politeness代码。其中isUrlVisited作用为：在将链接加入队列之前需要查看链接是否已经被处理过了。而通过对politeness 设置阈值，Heritrix 可以使用以实现抓取对被访问服务器造成的压力的控制。因此分析isUrlVisited和Politeness源码对于我们理解heritrix工作原理是非常有用的。 不同的网页，重要程度不同，在对于网页的重要程度评价我们采用，入度的多少来确定我们抓取的网页的重要程度。在此过程中我们需要利用PageRank算法，来获取抓取回来的网页的入度与出度。通过对此过程的操作与分析，加深了我们对课堂知识的理解。 关键词: heritrix配置 isUrlVisited Politeness 源码分析 入度 出度 PageRank算法 【引 言】 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 。 Heritrix是由互联网档案馆和北欧国家图书馆联合规范化编写于2003年初。第一次正式发布是在2004年1月，并不断的被互联网档案馆和其他感兴趣的第三方改进着。到现在已经成为一个成熟的开源爬虫，并被广泛使用。 本项目的目的在于让我们熟悉网络爬虫的工作原理，学会使用heritrix进行网页抓取并进行简单的源码分析。这个过程中我们主要工作是完成以下三个任务： 下载heritrix，在Eclipse中实现 heritrix系统配置、安装Heritrix的使用。 利用heritrix抓取指定的网站: 在heritrix系统代码crawler的下面两个部分： isUrlVisited，politeness 搜集web数据的graph link analysis 中网页的数量以及 入度、出度分布情况如何top 10的最重要页面是哪些首先从/projects/archive-crawler/ 中下载heritrix-1.14.4.zipheritrix-1.14.4-src.zip 在Eclipse 中创建一个java project的工程,分别对heritrix-1.14.4.zipheritrix-1.14.4-src.zip 进行解压。将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下 将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。 配置文件进行修改,找到conf下perties文件 //设置用户密码 heritrix.cmdline.admin = admin:admin //设置端口 heritrix.cmdline.port = 8080 对工程进行jar包引入，将lib下面所有的jar包引入工程在工程中找到org.archive.