hadoop2.2.0分布式配置.docxVIP

Hadoop2.2.0分布式配置一、系统环境： IP账号/主机名 功能操作系统 50 hadoop@hadoopm nm/rm/sm red hat enterprise linux 6.0 51 hadoop@hadoopd1 dn/rm red hat enterprise linux 6.0 52 hadoop@hadoopd2 dn/rm red hat enterprise linux 6.0 二、设置HOST:vi /etc/hosts 50 hadoopm51 hadoopd152 hadoopd2注释掉localhost等配置：#localhost.localdomain localhost#::1localhost6.localdomain6 localhost6设置好后，将此文件直接覆盖到其它主机对应的文件。三、设置静态IP:查看ip:Ifconfig设置静态ip:vi /etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=noHOSTNAME= hadoopm #主机名DEVICE=eth0#网卡标志ONBOOT=yes#是否自动启动BOOTPROTO=static#是否使用静态IPIPADDR=50#当前机器的IP地址NETMASK=#子网掩码GATEWAY=55#网关也可以单独修改具体网卡的ip配置：vi /etc/sysconfig/network-scripts/ifcfg-ethoDEVICE=eth0#网卡标志ONBOOT=yes#是否自动启动BOOTPROTO=static#是否使用静态IPIPADDR=50 #当前机器的IP地址NETMASK=#子网掩码GATEWAY=55#网关使配置生效：/etc/init.d/network restart一台机器修改完毕后，其它机器按照此方式修改，注意要调整hostname和ip地址为正在被修改机器的对应信息。四、JDK环境配置4.1将jdk-7u45-linux-i586.tar.gz拷贝到usr目录下并解压：tar -xzf jdk-7u45-linux-i586.tar.gz配置好后，采用如下命令直接复制到其它机器：scp -r /usr/jdk1.7.0_45hadoop@51:/usrscp -r /usr/jdk1.7.0_45hadoop@52:/usr4.2修改环境变量: vi /etc/profile 在此文件的最后面加上如下配置（按键i）：JAVA_HOME=/usr/jdk1.7.0_45JRE_HOME=/usr/jdk1.7.0_45/jrePATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME export JRE_HOME export PATH export CLASSPATH保存退出(按键esc然后:wq!保存退出或者:q!直接退出不保存)， 最后运行下面命令， 使配置生效：source /etc/profile验证是否成功：java -version配置好后，其它机器也采用一样操作即可。五、SSH无密码登陆cd /home/hadoop/.ssh #若此目录下没有.ssh目录，可以ssh hadoop@hadoopm下ssh-keygen -t rsacat id_rsa.pub authorized_keys启动生效：/etc/init.d/sshd restart按照以上步骤在其它机器上也类似操作。最后执行完毕后，将三台机器上的此两个文件的三条记录分别合并，合并后，覆盖到三台机器的文件对应位置即可。(分别将各台机子上的.ssh/id_rsa.pub的内容追加到其他两台的.ssh/authorized_keys)六、关闭防火墙及SELinuxsetup修改SELinux也可以采用如下方法：vi /etc/selinux/configSELINUX=disable七、安装hadoop7.1将hadoop-2.2.0.tar.gz上传到/home/hadoop目录下cd /home/hadooptar -zxf hadoop-2.2.0.tar.gz7.2创建目录：mkdir dfsmkdir dfs/namemkdir dfs/datamkdir tempmkdir temp/dfsmkdir yarnmkdir yarn/app-logsmkdir yarn/log7.3修改配置文件:c