hadoop集群部署.docxVIP

一 Hadoop2.2.0的安装 root(123456) hadoop(hadoop) 1.安装环境： 集群：本次安装主要使用了4台安装了centos6.4 的服务器。 22 node136 （预备作为master节点NameNode） 23 node2 （slave节点DataNode） 25 node3 （slave节点DataNote） 26 node4 （slave节点DataNote） 同时在每个机器上建立相同的用户和节点 在每个机器上均建立hadoop用户(密码)(#useradd hadoop, #passwd hadoop),并将用户加入root组（usermod –g root hadoop） 且在/home/hadoop/用户下简历Hadoop，Java目录三 #mkdir Hadoop 将编译好的hadoop2.2.0和jdk包上传到各个节点(node2-4不需要上传hadoop) 2.配置ssh环境(hadoop用户下) （1）hadoop下在/home/hadoop目录下执行ssh-keygen -t dsa命令，一路enter （2）hadoop下进入到.ssh目录下(cd /hadoop/.ssh)，执行cp id_dsa.pub authorized_keys 的命令（所有节点执行相同命令）菜单 此步骤不需要 （3）修改hosts(vi /etc/hosts)，（所有节点执行相同命令）如下图所示： （4）hadoop用户下node1的id_dsa.pub（.ssh目录下）拷贝到hadoop@node1,node2，node3 。 #ssh-copy-id -i id_dsa.pub hadoop@node*(*代表1，2，3，4)(过程中一直enter) 测试：#ssh node*(过程中需要输入一次密码) Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上 HYPERLINK /blog/1488118 /blog/1488118 /Linux/2013-07/87959p2.htm 3.配置Java环境 1、先删除系统自带的java（root权限下） #java –version 查看java版本 # rpm -qa|grep java 查看jdk 信息 如果你带有yum，可以直接yum remove xxx测试时用的这命令如果是rpm包，rpm -e xxx 2、直接解压jdk-7u51-linux-x64.tar，生成文件目录，直接配置就可以。 HYPERLINK /linux-unix/1465484.html /linux-unix/1465484.html 解压：#tar xzvf jdk-7u51-linux-x64.tar.gz 配置java环境可以直接修改/etc/目录下的profile文件，单这会影响到整个机器。为了减少影响，我们在当前目录（/home/hadoop）的.bash_profile文件中进行配置，对其的配置只在本用户下起作用，不会影响到其他用户 （1）对.bash_profile文件进行配置（root权限下） 在文件的末尾添加如下内容： （2）执行source .bash_profile命令使配置生效（root权限下） （3）执行 java -version命令检查配置是否成功 （4）在各个节点上均配置好Java环境 4.关闭每台机器的防火墙 进入到root用户权限 （1）设置/etc/selinux 成为permissive模式 #setenforce 0 （2）修改selinux的配置文件，永久关闭防火墙 vi /etc/selinux/config 将SELINUX=enforcing 更改为SELINUX=distabled （3）停止iptable防火墙 #service iptables stop #chkconfig iptables off火墙 5. 配置H