centos7上hadoop2.6.5+zookeeperHA集群搭建.docx

搭建hadoop+zookeeper HA集群模式： 总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 环境，最少3台CentOS7，64位，Hadoop2.7需要64位Linux 0、修改3台虚拟机IP，分别在3台虚拟机中使用nmtui命令，修改IP如下： 1、修改3台虚拟机的主机名（hostname），分别在3台虚拟机中使用命令 hostnamectl --static set-hostname hadoop001 hostnamectl --static set-hostname hadoop002 hostnamectl --static set-hostname hadoop003 IP与hostname对应关系如下：vi /etc/hosts文件，将文件内容替换为如下内容 hadoop001 hadoop002 hadoop003 hosts文件正确内容类似下图（注意红色部分，不能错，否则后面同步hadoop002时会出错）： 其中，hadoop001、hadoop002为NameNode，hadoop001、hadoop002、hadoop003为DataNode 2、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，#RSAAuthentication yes#PubkeyAuthentication yes(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，cat id_rsa.pub authorized_keys ssh root@ cat ~/.ssh/id_rsa.pub authorized_keysssh root@ cat ~/.ssh/id_rsa.pub authorized_keys ssh root@ 然后再exit(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录 scp authorized_keys root@:/root/.ssh #需要输入超级用户密码 scp authorized_keys root@:/root/.ssh #需要输入超级用户密码 scp known_hosts root@:/root/.ssh scp known_hosts root@:/root/.ssh (5)完成，三台虚拟机之间ssh root@192.168.10.X就不需要输入密码了 3、安装JDK，Hadoop2.7需要JDK7，由于我的CentOS是最小化安装，所以没有OpenJDK，直接解压下载的JDK并配置变量即可(1)下载“jdk-7u79-linux-x64.gz”，放到/home/java目录下(2)解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz(3)编辑/etc/profileexport JAVA_HOME=/home/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin (4)使配置生效，输入命令，source /etc/profile(5)输入命令，java -version，输出jak版本信息即完成 4.配置zookeeper集群 先在一台虚拟机上进行如下配置操作： » 将zookeeper.zip上传到linux虚拟机/home/zookeeper下 » 解压：tar -zxvf zookeeper-3.4.1.zip 若报错用unzip zookeeper-3.4.1.zip » 在/home/zookeeper/zookeeper/data下，输入vi myid 在文件中输入1 » 在/home/zookeeper/zookeeper/conf目录下创建一个配置文件zoo.cfg，配置tickTime=2000//心跳间隔dataDir