Nutch网页抓取总结Nutch网页抓取总结.doc

Win7下Nutch-1.2的配置 Step 1、安装虚拟环境Cygwin Step 2、安装JDK Step 3、下载安装Nutch-1.2，并进行配置 Step 4、安装Tomcat Step 5、利用Nutch-1.2进行网页抓取 Step 6、利用Tomcat检索已经抓取的信息 目前可以实现： 利用Nutch进行URL匹配，对网页及其内容进行抓取。 把抓取到的网页内容读出来进行存储 可以利用Nutch和Tomcat对抓取的网页进行检索 安装虚拟环境Cygwin 因为Nutch自身的命令是要在Linux环境下才能运行，所以先安装了Cygwin，Cygwin是一个在Windows下的模拟Linux系统程序。 1、下载地址 Cygwin官网：/ 2、安装步骤 （1）、选择Install from Internet （2）、选择安装目录 （3）、选择已经下载的文件的安装目录 （4）、选择安装的镜像地址 选择http：// （5）、选择安装所有的包 在这一步需要安装所有的包，点击All Default，变成Install即可。并且安装过程比较长，需要耐心等待。 （6）、安装完成 安装JDK 因为Nutch是Java开发的，所以需要安装JDK。 1、下载并安装JDK 2、下载完成后安装，并设置环境变量 右键“我的电脑”—“属性”—“高级”—“环境变量”，在系统变量中，添加环境变量： （1）、JAVA_HOME（其值为JDK安装目录）?????????? （2）、PATH（其值为JDK安装目录，并到bin目录下）?? （3）、CLASSPATH（其值为JDK安装目录，并到lib下，选中dt.jar 和 tools.jar） 3、测试JDK是否配置成功 运行cmd，并分别输入java –version,java，javac命令，出现如下结果表明配置成功。 下载安装Nutch-1.2，并进行配置 1、下载安装apache-nutch-1.2-bin.zip 下载地址：/dist/nutch/ 2、下载完成后将其解压到E盘，文件夹为nutch-1.2 3、输入cd /cygdrive/e/nutch-1.2 输入bin/nutch进行Nutch安装测试 得到如上图结果则安装配置成功。 4、对Nutch进行配置 （1）、设置系统变量 NUTCH_JAVA_HOME（其值为JDK的安装目录） 对nutch-1.2\conf\hadoop-env.sh中的JAVA_HOME设置（其值为JDK的安装目录）注意去掉前面的“#”。 （2）、设置需要抓取的网站主域名 在nutch-1.2文件夹内建立一个名为urls的文件夹，并在此文件夹内建立url.txt的文本文件，写入（此处以维基百科为例）。 （3）、设置网站过滤规则 1）、编辑conf/crawl-urlfilter.txt文件，修改MY.DOMAIN.NAME部分 将 # accept hosts in MY.DOMAIN.NAME +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/ 改为：# accept hosts in MY.DOMAIN.NAME+^http://([a-z0-9]*\.)* / 如果想同时抓取多个网站，在底下添加多个URL即可。 2）、设置代理信息 编辑conf\nutch-site.xml文件 在configuration和/configuration之间添加如下内容: property name/name value//value /property property namehttp.agent.url/name value //value /property property namehttp.robots.agents/name value //value /property 3)、设置代理名编辑nutch-1.2\conf\nutch-default.xml文件 找name/name，然后随便设置Value值，在爬行的时候可能出现空指针异常且在tomcat中搜索时可能导致0条记录，所以务必加上。 例如：可以将其值设为wikipedia。 安装Tomcat Nutch的演示的搜索界面是JSP的，所以需要用Tomcat做服务器。 1、下载地址：/download-60.cgi? 2、设置环境变量 CATALINA_BASE （其值为Tomcat的安装目录） CATALINA_HOME （其值为Tomcat的安装目录） CLASSPATH （其值为%CATALINA_HOME%\lib） 3、 Nutch提供了类似google、baidu的网页页面，关闭tomcat服务，在nutch-1.2下找到nut