基于Nutch的分布式搜索引擎部署.docVIP

Nutch是一个开源的搜索引擎，包括抓取，索引，搜索，不过它主要专注于抓取，下面我讲一下在Linux下（以Ubuntu为例）它的配置与部署。 一、下载并安装好Nutch-1.0、java-6-jdk、Tomcat6.0 二、配置环境变量并设置相关参数： 1.sudo　vi　~/.bashrc export　JAVA_HOME=/usr/lib/jvm/java-6-sun export　PATH=$PATH:$JAVA_HOME/bin 2.sudo vi /etc/environment PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib JAVA_HOME= /usr/lib/jvm/java-6-sun 3.假设nutch解压到/home/user下 mkdir urls 新建一个文件夹 touch url.txt 创建一个文件 echo / urls/url.txt 输入要抓取的网址到（以新浪为例） 4.编辑conf/crawl-urlfilter.txt,修改MY.DOMAIN.NAME +^http://([a-z0-9]*.)*/ (与第3步中输入的网址相同，注意/不能掉了，否则可能抓取不到） 5.修改conf/nutch-site.xml (nutch-site.xml会自动覆盖nutch-default.xml) property name/name valueHD nutch agent/value /property property namehttp.agent.version/name value1.0/value /property property namehttp.robots.agent/name valuespider/value /property （注意以上的的value值一定不能为空） 6.执行bin/nutch crawl开始抓取页面 sudo　bin/nutch　crawl　urls　-dir　crawl　-depth　5　-threads 5 -topN　50 log.log -depth:抓取深度 -threads：并行的进程数 (注意crawl不用自己创建，是自动在nutch目录下生成用来存放爬虫收集的网页信息的，最终给用户检索使用） 7.抓取完数据之后可以用命令行代替页面检验结果 sudo bin/nutch org.apache.nutch.searcher.NutchBean 此处为待检索的词 三、在页面上检索 1.把nutch包中的nutch-1.0.war复制到apache的webapps下 cp /home/user/nutch/nutch-1.0-war /usr/share/tomcat6.0/webapps 2.在浏览器中输入 http://localhost/8080:nutch-1.0.war 此时会在/usr/share/tomcat6.0/webapps下自动解压出nutch-1.0包，并出现了搜索页面 3.修改 tomcat6.0/webapps/nutch-1.0/WEB-INF/classes/nutch-site.xml property 　　 　　 name/name valuespider/value /property property namehttp.agent.version/name value1.0/value /property property 　　 　　 namesearcher.dir/name 　　 　　 value/home/user/nutch/crawl/value /property (注意：searcher.dir为指定检索的索引目录，在此是之前自动生成的crawl） 4.启动tomcat sudo /usr/share/tomcat6.0/bin/./startup.sh 5.至此可以成功在页面上进行检索了，但一定要注意必须先运行爬虫抓取程序，再部署nutch-1.0.war到tomcat中才能在页面中检索到索引库中的信息，否则会出现“查询项空” 四、解决中文乱码 修改tomcat下的server.xml