无比强大的网络爬虫Heritrix-Read.PDF

第10 章 无比强大的网络爬虫Heritrix Lucene 很强大，这点在前面的章节中，已经作了详细介绍。但是，无论多么强大的搜索引 擎工具，在其后台，都需要一样东西来支援它，那就是网络爬虫Spider。 网络爬虫，又被称为蜘蛛 Spider，或是网络机器人、BOT 等，这些都无关紧要，最重要的 是要认识到，由于爬虫的存在，才使得搜索引擎有了丰富的资源。 Heritrix 是一个纯由Java 开发的、开源的Web 网络爬虫，用户可以使用它从网络上抓取想要 的资源。它来自于 。Heritrix 最出色之处在于它的可扩展性，开发者可以扩 展它的各个组件，来实现自己的抓取逻辑。本章就来详细介绍一下Heritrix 和它的各个组件。 10.1 Heritrix 的使用入门 要想学会使用 Heritrix ，当然首先得能把它运行起来。然而，运行Heritrix 并非一件容易的 事，需要进行很多配置。在Heritrix 的文档中对它的运行有详细的介绍，不过尽管如此，笔 者仍然花了大量时间，才将其配置好并运行成功。 10.1.1 下载和运行Heritrix Heritrix 的下载页面为：/downloads.html 。从上面可以链接到 SourceForge 的下载页面。当前Heritrix 的最新版本为1.10。 （1）在下载完Heritrix 的完整开发包后，解压到本地的一个目录下，如图10-1 所示。 图10-1 Heritrix的目录结构 其中，Heritrix 所用到的工具类库都存于lib 下，heritrix-1.10.1.jar 是Heritrix 的Jar 包。另外， 在Heritrix 目录下有一个conf 目录，其中包含了一个很重要的文件：perties 。 （2 ）在perties 中配置了大量与Heritrix 运行息息相关的参数，这些参数主要是配 置了Heritrix 运行时的一些默认工具类、WebUI 的启动参数，以及Heritrix 的日志格式等。 当第一次运行Heritrix 时，只需要修改该文件，为其加入WebUI 的登录名和密码，如图10-2 所示。 图10-2 修改Heritrix 的WebUI 的登录名和密码 其中，用户名和密码是以一个冒号进行分隔，使用者可以指定任何的字符串做为用户名密码， 图中所示只不过延续了Heritrix 以前版本中默认的用户名和密码而已。 （3 ）在设置完登录名和密码后，就可以开始运行Heritrix 了。Heritrix 有多种方式启动，例 如，可以使用CrawlController，以后台方式加载一个抓取任务，即为编程式启动。不过最常 见的还是以WebUI 的方式启动它。 （4 ）Heritrix 的主类为org.archive.crawler.Heritrix，运行它，就可以启动Heritrix 。当然，在 运行它的时候，需要为其加上lib 目录下的所有jar 包。以下是笔者在命令行中启动Heritrix 时所使用的批处理文件，此处列出，仅供读者参考（笔者的Heritrix 目录是位于E 盘的根目 下，即E:\heritrix ）。 代码 10.1 java -Xmx512m -Dheritrix.home=e:\\heritrix -cp E:\\heritrix\\lib\\commons-codec-1.3.jar;E:\\heritrix\\lib\\commons-collect ions-3.1.jar;E:\\heritrix\\lib\\dnsjava-1.6.2.jar;E:\\heritrix\\lib\\poi-scr atchpad-2.0-RC1jar;E:\\heritrix\\lib\\commons-logging-1.0.4.jar;E: \\heritrix\\lib\\commons-httpclient-3.0.1.jar;E:\\heritrix\\lib\\commons-cli -1.0.jar;E:\\her