heritrix_的安装和配置.docVIP

heritrix的配置和抓取任务的创建 配置：1.下载heritrix-1.14.3： (当然也可以是最新的版本)/projects/archive-crawler/files/archive-crawler%20%28heritrix%201.x%29/1.14.3/heritrix-1.14.3.zip/download 2.解压到D:\dev\heritrix-1.14.3 3.把heritrix-1.14.3.jar解压并把里面的profiles文件夹拷到conf下 4.修改conf目录下的perties为heritrix.cmdline.admin = admin:admin(表示用户名和密码都是admin，用:分开)heritrix.cmdline.port = 8080 4.把conf目录下的jmxremote.password.template修改其中的： 并修改 monitorRole @PASSWORD@ controlRole @PASSWORD@ 为： monitorRole admin controlRole letmein 另存为jmxremote.password并移动到D:\dev\heritrix-1.14.3目录下，最后将其属性设为“readonly” 5.设置环境变量：在系统变量里新建 HERITRIX_HOME=D:\dev\heritrix-1.14.3并在系统变量的path后添加;%HERITRIX_HOME%\bin 6.在命令行下输入heritrix --admin=admin:admin启动heritrix。抓取任务的创建：1.在地址栏输入http://localhost:8080出现heritrix，说明已经启动成功。输入用户名和密码并登陆。2.点击“Jobs”标签页,会出现：Create New Job Based on existing job Based on a recovery Based on a profile With defaults第一次创建就选With defaults，输入Name of new job, Description ,seeds的地址，seeds的地址要特别注意，比如/（最后那个/是必须的），如果要输入多个url，可以用回车隔开，也就是每行一个url。3.点下面的“modules设置Writers，把默认的ARCWriterProcessor删除，添加MirrorWriterProcessor。4.点“settings”设置 http-headers（这是非常非常重要的一点，当时折磨了我一个多小时，都快崩溃了，不过关键是我没好好利用起我那本书，要不然就不至于这么惨烈）给个例子吧，就全明白了：user-agent:IE/7.0 (compatible; heritrix/1.14.3 +40)from:xxx@163.com最重要的是user-agent中http前的那个+号，我就因为它一直没跑通，from中填写email地址，只要是email格式的就行5.最后点击“submit job”就完成了job的创建6.点“Console”中的start就能开始抓取任务，然后我们就可以在Job Status看到任务的执行情况。 在Eclipse里配置Heritrix的开发环境 我在学习开发自己的搜索引擎——Lucene 2.0+Heritrix一书时对Heritrix的配置感到很迷惑,现在Heritrix已经出到了第Heritrix1.14.版本了,看到书上的配置觉得很复杂,于在网上找了一些资料,发现众说纷纷,但是还好,每个人的做法都有一定的道理,最主要的说当用别人说的方法不对,能够找出解决方法,我在网上参考了一种方法,但是按照他的做法做下来,却有错误,还好,我及时的改正过来了,实现起来很方便的,只要几分钟的时间就可以配置好了.以下是我总结后的方法,以供大家参考. 首先到１、下载heritrix-1.14.1-src.zip和heritrix-1.14.1.zip两个压缩包，并解压，以后分别简称SRC包和ZIP包；２、在Eclipse下新建Java项目，取名Heritrix；(如我打开Eclipse的工作区在D:\eclipse\search下,当我建了项目Heritrix后,我就可以找到D:\eclipse\search\Heritrix文件夹.其中包含两个工程属性文件.classpath和.project。有的人建了后还有两个文件目录bin和src，如果有的话删除掉两个文件目录bin和src。) ３、复制SRC包下面src/java文件夹