NUTCH相关框架安装使用最佳指南.pdf

Nutch相关框架安装使用最佳指南 一、nutch1.2 二、nutch1.5.1 三、nutch2.0 四、配置SSH 五、安装Hadoop Cluster （伪分布式运行模式）并运行Nutch 六、安装Hadoop Cluster （分布式运行模式）并运行Nutch 七、配置Ganglia 监控Hadoop 集群和HBase 集群 八、Hadoop 配置Snappy 压缩 九、Hadoop 配置Lzo 压缩 十、配置zookeeper 集群以运行hbase 十一、配置Hbase 集群以运行nutch-2.1(Region Servers 会因为内存的问题宕机) 十二、配置Accumulo 集群以运行nutch-2.1(gora 存在BUG) 十三、配置Cassandra 集群以运行nutch-2.1 （Cassandra 采用去中心化结构） 十四、配置MySQL 单机服务器以运行nutch-2.1 十五、nutch2.1 使用DataFileAvroStore 作为数据源 十六、nutch2.1 使用AvroStore 作为数据源 十七、配置SOLR 十八、Nagios 监控 十九、配置Splunk 二十、配置Pig 二十一、配置Hive 二十二、配置Hadoop2.x 集群 一、nutch1.2 步骤和二大同小异，在步骤 5、配置构建路径 中需要多两个操作：在左部Package Explorer 的 nutch1.2文件夹上单击右键 Build Path Configure Build Path... 选中Source选项 Default output folder:修改nutch1.2/bin 为nutch1.2/_bin，在左部Package Explorer 的 nutch1.2 文件夹下的bin 文件夹上单击右键 Team 还原 二中黄色背景部分是版本号的差异，红色部分是1.2 版本没有的，绿色部分是不一样的地 方，如下： 1、Add JARs... nutch1.2 lib ，选中所有的.jar 文件 OK 2、crawl-urlfilter.txt 3、将crawl -urlfilter.txt.template 改名为crawl -urlfilter.txt 4、修改crawl-urlfilter.txt，将 # accept hosts in MY.DOMAIN.NAME +^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/ # skip everything else -. 5、cd /home/ysc/workspace/nutch1.2 nutch1.2 是一个完整的搜索引擎，nutch1.5.1 只是一个爬虫。nutch1.2 可以把索引提交给 SOLR，也可以直接生成LUCENE 索引，nutch1.5.1 则只能把索引提交给SOLR： 1、cd /home/ysc 2 、 wget /apache/tomcat/tomcat-7/v7.0.29/bin/apache-tomcat-7.0.29. tar.gz 3、tar -xvf apache-tomcat-7.0.29.tar.gz 4、在左部Package Explorer 的 nutch1.2 文件夹下的build.xml文件上单击右键 Run As Ant Build... 选中wartarget Run 5、cd /home/ysc/workspace/nutch1.2/build 6、unzip nutch-1.2.war -d nutch-1.2 7、cp -r nutch-1.2 /home/ysc/apache-tomcat-7.0.29/webapps 8、vi /home/ysc/apache-tomcat-7.0.29/webapps/nutch-1.2/WEB-INF/classes/nutch-site.xml 加入以下配置： property namesearcher.dir/name value/home/ysc/workspace/nutch1.2/data/value description Path to root of crawl. This directory is sea