Heritrix爬虫 使用手册.docx

Heritrix爬虫 使用手册概要简介Heritrix是一个纯由Java开发的、开源的Web网络爬虫，用户可以使用它从网络上抓取想要的资源。Heritrix最出色之处在于它的可扩展性，开发者可以扩展它的各个组件，来实现自己的抓取逻辑。Heritrix Home Page：/获取HeritrixHeritrix的主页提供下载，下载后有2个压缩包，比如“heritrix-1.14.3.zip”和“heritrix-1.14.3-src.zip”，分别解压这两个压缩包到单独的文件夹。文件说明Heritrix-1.14.3解压得到的文件如图一所示，Heritrix所用到的工具类库都存于lib目录下，heritrix-1.10.1.jar是Heritrix的Jar包。另外，在conf目录下包含了一个很重要的文件：perties文件包含了大量与Heritrix运行相关的参数，主要针对Heritrix运行时的一些默认工具类、WebUI的启动参数以及Heritrix的日志格式进行配置。第一次运行Heritrix时，只需进行很简单的修改，为其加入WebUI的登录名和密码即可。图1运行方式通常以WebUI的方式启动Heritrix，另外还可以使用CrawlController （它是一次抓取任务的核心，决定整个抓取任务的开始和结束。位于org.archive.crawler.framework），以后台方式加载一个抓取任务，即编程式启动。在Eclipse中建立Heritrix工程项目建立在Eclipse下新建一个项目；将下载得到的两个压缩包分别解压到单独的文件夹，在本例中为“heritrix-1.14.3”和“heritrix-1.14.3-src”；（建议将这两个文件夹放在项目目录下，因为以后还要用到其中的文件。）从“heritrix-1.14.3-src”目录下的\src\java复制3个文件夹（包）：org、com、st到项目中的src文件夹中；从“heritrix-1.14.3-src”目录下的\src\conf复制所有文件夹及文件到项目更目录中；从“heritrix-1.14.3-src”目录下的\src\resourses复制所有文件夹及文件到项目根目录中；从“heritrix-1.14.3”目录下复制webapps目录到项目根目录中；将“heritrix-1.14.3”或“heritrix-1.14.3-src”其中任一目录下的lib文件夹中的所有jar包添加到项目的build path中；从“heritrix-1.14.3-src”目录下的\src\conf复制profiles文夹到Eclipse工作空间所在分区的根目录。将修改过参数的Hperties文件复制到项目的src文件夹中。建立完成的工程如图2所示。图2Hperties参数配置主要更改部分如红色加粗标记部分所示：############################################################################### HERITRIX PROPERTIES############################################################################### Properties with prefixes heritrix., org.archive., or system. prefix # get copied into Sperties on startup so available via # System.getProperties. (For system. properties, that prefix is stripped.# (See Heritrix.loadProperties()). # Version is filled in by the maven.xml pregoal. It copies here the project# currentVersion property.heritrix.version = 1.14.3# Location of the heritrix jobs dir = jobs# Default commandline startup values.# Below values are used if unspecified on the command line.heritrix.cmdline.admin = admin:adminheritrix.cmdline.port = 8089heritrix.cmdline.run = falseheritrix.cmdline.nowui = fals