在MyEclipse中搭建Nutch开发环境.docxVIP

在MyEclipse中搭建Nutch开发环境以Java Project形式搭建第一步：下载Nutch的压缩包到Nutch的网站上下载Nutch的压缩包，这里以Nutch1.1为例。Nutch各版本的下载地址为/dist/nutch//dist/nutch/，进入该网页后，找到apache-nutch-1.1-bin.tar.gz文件，将其下载到自己的电脑里。第二步：新建一个Java项目打开MyEclipse，点击File→New→Java Project新建一个Java项目，输入Project Name如Nutch1.1，点击Finish按钮。如下图所示。第三步：导入Nutch的代码将第一步下载的Nutch压缩包解压，解压后的目录结构如下图所示。将src/java目录下的整个org文件夹copy到Nutch1.1项目的src目录下。第四步：导入Nutch的配置文件、Jar包、插件在第三步解压后的目录下，找到conf、lib、plugins三个文件夹，将这三个文件夹copy到Nutch1.1项目的根目录下（即与src目录同级）。Copy完后，Nutch1.1项目的目录结构如图所示。第五步：替换Nutch中Hadoop的核心包官方版本的Hadoop是不支持Windows下的存取操作的，我们需要将其替换为自己修改过的Jar包。在Nutch1.1项目的lib目录下，找到Hadoop的核心包（如：hadoop-0.20.2-core.jar），将其删除，然后将自己的Jar包（hadoop-0.21.0-core.jar）copy到该目录下。第六步：在MyEclipse中为项目加载Jar包在MyEclipse中刷新Nutch1.1项目，可以看到如下所示的目录结构。我们会发现src目录下有错误存在，这是因为尽管该项目的lib目录下有Jar包，但是没有将其加入到ClassPath变量中。下面来解决这个问题。在Nutch1.1目录上单击右键→Build Path→Configure Build Path…将打开如下所示的对话框。在Libraries选项卡里，点击Add JARs…按钮，将出现如下所示的对话框。展开Nutch1.1目录，展开lib目录，将lib文件夹及其子文件夹下的全部Jar包选中，然后单击OK按钮，如下图所示。单击OK按钮后，将回到Libraries选项卡，此时该选项卡将如下所示。最后，单击Libraries选项卡里的OK按钮，回到MyEclipse的主页面，看看src目录上的错误是不是消失了。第七步：在MyEclipse中为项目加载配置文件同理，虽然conf目录下已经有配置文件了，但Java虚拟机仍不能识别它们，因为它们也没有加入到ClassPath变量中。下面我们来将其加入。在conf目录上单击右键→Build Path→Use as Source Folder。然后我们会发现conf目录变成了一个“Source Folder”，这样conf目录下的配置文件就被中加入到ClassPath变量中了。第八步：修改Nutch中的配置Nutch中默认的配置并不能使Nutch正常运行，需要修改几个地方后才能使Nutch运行起来。修改nutch-default.xml在conf目录下找到nutch-default.xml文件，将其打开，找到配置项，如果该项的value值为空，则随便加入一个值，然后保存。如下图所示。修改crawl-urlfilter.txt在conf目录下找到crawl-urlfilter.txt文件，将其打开，找到# accept hosts in MY.DOMAIN.NAME配置项，将其下面的正则表达式+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/改为+^http://([a-z0-9]*\.)*。找到# skip URLs containing certain characters as probable queries, etc. 配置项，如果其下面有-[?*!@=]形式的正则表达式，将其删除，或将-号改为+号。最后，保存所作的修改。如下图所示。此外，还可以修改nutch-site.xml这个文件的配置。（这里略去，不作修改）第九步：测试Crawl类，修正运行中的各种错误经过以上的操作，Nutch的开发环境的搭建就有可能大功告成了，现在我们就可以开始运行Nutch了。我们通过Crawl类来运行Nutch，运行时将出现两种结果，一是顺利地运行完成，二是程序被各种异常终止（即运行失败）。如果出现第一种结果，恭喜你，Nutch的开发环境搭建成功；如果出现第二种结果，很抱歉，你可能离成功还有很远，不过没关系，你可以一步一个脚印，修正运行中的各个错误。下面，按如下步骤来运行Nutch，修正运行