《海量数据挖掘-王永利》Hadoop搭建流程及初运行.docxVIP

Hadoop搭建流程及初运行本文介绍的是在CentOS下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程，软硬件信息如下：·采用自己的笔记本电脑作为master（DELL Vostro）·slave-0组装的台式机·slave-1 组装的台式机开始1 安装Centos（采用了6.5版本的桌面版）。安装过程需要注意一下几点：输入root的账户密码，并新建用户账户和密码区别用户名与主机名：主机名一般默认为localhost。在这里将主机名在安装时即设置为master/slave-0/slave-1。选择桌面版本安装2 安装好后，选择root账户登录进行开发环境的搭建和安装。3 开始安装jdk。使用终端进入存放jdk-6u24-linux-i586.tar.gz，我的位置是:/tmp。安装和配置的过程可以参照安装JDK的笔记进行。不再赘述。需要注意的几点是：该版本默认安装了较低版本的JDK，需要先进行清除。需要进行清除的两个地方是：/usr/bin和/usr/lib，在这两个地方删除java相关的文件即可。JDK安装包一般解压到/usr/local路径下需要设置的环境变量为：JAVA_HOME/PATH/CLASSPATH。设置环境变量的文件是：/etc/profile。4 hadoop安装和运行（1）将下载好的Hadoop文件存放在/tmp目录下，在终端中进行解压，解压路径是：/usr/local路径下。（2）需要在/etc/profile中设置HADOOP_HOME，并将命令文件夹导入到PATH中，以实现在终端中直接调用。?5 Hadoop集群配置 Step1:修改三台主机的hosts文件 #vi /etc/hosts加入如下四行，分别修改为你的master机器和slave机器的ip地址即可。需要在三台机器终端中输入：#ifconfig确认IP地址。 Step2:修改主机名 vi /etc/networks(如果忘记修改主机名，可以再次修改) 各自改为master,slave-1,slave-0。Step3:配置master免SSH登录slave（1）先要将三台机器都切换到普通用户（一定要注意）（2）在master上生成密钥 #ssh-keygen -t dsa -P 此时会在~/.ssh文件夹下生成认证文件（id_dsa和id_dsa.pub）。 #cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys然后用scp命令将~/.ssh文件下的所有文件拷贝到两台slave机器即可。输入命令（注意命令格式）： #cd ~/.ssh #scp authorized_keys slave-1@slave-1:~/.ssh/ #scp authorized_keys slave-0@slave-0:~/.ssh/ Step4:修改三台主机的配置文件?第一处：hadoop-env.sh为hadoop功能的实现设置JAVA_HOME。#vi /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh 加入：export JAVA_HOME=/usr/lib/jdk1.6.0_24 （更改为自己的目录）第二处：core-site.xml设置namenode结点地址和端口号以及本地的暂存目录。#vi /home/hadoop/hadoop-1.2.1/conf/core-site.xml 加入： configuration property name/name valuehdfs://master:9000/value/propertyproperty namefs.tmp.dir/name value/opt/data/hadoop-tmp/value/property/configuration第三处：hdfs-site.xml设置分布式文件拷贝份数。由于只有两台DN，故设置为2。#vi /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml第四处： mapred-site.xml设置jobtracker的地址和端口号。vi /home/hadoop/hadoop-1.2.1/conf/mapred-site.xmlconfigurationpropertynamemapred.job.tracker/namevaluemaster:9001/value/property/configuration第五处：在master机器上修改hadoop-1.2.1/conf/masters文件：#vi /home/hadoop/hadoop-1.2.1/conf/masters加入master#vi /home/ha