HadoopHA集群搭建手册.doc

Hadoop +HA高可靠集群+Hbase+Zookeeper 环境搭建手册 什么是HA见附件。 集群环境： Ubuntu15.04 64位操作系统,通过VMWARE虚拟3个节点： master1：01 master2：02 slave1：01 由于只有3个节点,所以master1,master2为nodedate,master2为standby zookeeper，datanode，hbase三个节点都部署 机器名 ip地址 安装软件 运行的进程 master1 01 jdk,hadoop, hbase,zookeeper NameNode,DataNode, hbase Hmaster, hbase HRegionServer QuorumPeerMain,zkfc JournalNode, ResourceManager master2 02 jdk,hadoop, hbase,zookeeper NameNode,DataNode, hbase HRegionServer QuorumPeerMain,zkfc JournalNode, NodeManager slave1 01 jdk,hadoop, hbase,zookeeper DataNode,HRegionSever, QuorumPeerMain, JournalNode, NodeManager 其中zkfc进程是DFSZKFailoverController Jdk1.7.0_79 64位，Hadoop2.6.0，HBase1.0.2，Zookeeper3.4.6 此时我们以master1节点为例，其他节点操作一致 准备工作(可选) 增加一个名为?hadoop?的用户，密码可设置为?hadoop?(密码随意指定)。 首先按?ctrl+alt+t?打开终端窗口，输入如下命令创建新用户?: $?sudo?useradd?-m?hadoop?-s?/bin/bash 创建了可以登陆的?hadoop?用户，并使用?/bin/bash?作为shell。 接着使用如下命令修改密码，按提示输入两次密码?hadoop?: $?sudo?passwd?hadoop 可为?hadoop?用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题： $?sudo?adduser?hadoop?sudo 最后注销当前用户(点击屏幕右上角的齿轮，选择注销)，在登陆界面使用刚创建的?hadoop?用户进行登陆。 安装SSH?server、配置SSH无密码登陆 集群需要用到SSH登陆（类似于远程登陆，你可以登录某台Linux电脑，并且在上面运行命令） $?sudo?apt-get?install?ssh 安装后，可以使用如下命令登陆本机： $?ssh?localhost 此时会有如下提示(SSH首次登陆提示)，输入?yes?。然后按提示输入密码?hadoop，这样就登陆到本机了。 但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。 首先退出刚才的?ssh，就回到了我们原先的终端窗口，然后利用?ssh-keygen?生成密钥，并将密钥加入到授权中： $?exit???????????????????????????#?退出刚才的?ssh?localhost $?cd?~/.ssh/????????????????#?若没有该目录，请先执行一次ssh?localhost $?ssh-keygen?-t?rsa??????????????#?会有提示，都按回车就可以 $?cat?id_rsa.pub??authorized_keys??#?加入授权 就在.ssh文件夹下生成了2个文件，一个公钥和一个私钥文件，??id_rsa??id_rsa.pub 这样配置之后就可以实现无密码登录本机。如果需要登录到远程主机，只需要将?authorized_keys文件发送到远程主机的～/.ssh/目录下。 此时再用?ssh?localhost?命令，无需输入密码就可以直接登陆了。? 如果出现Agent?admitted?failure?to?sign?using?the?key? 解決方式?使用?ssh-add?指令将私钥?加进来?（根据个人的密匙命名不同更改?id_rsa）??$?ssh-add???~/.ssh/id_rsa?? 再通过ssh?主机名?就可以实现无密码登录了 1安装jdk $?sudo?mkdir?/usr/lib/jvm #创建jdk存放目录 $?sudo?tar?-zxvf?jdk-7u79-linux-x64.tar.gz??-C?/usr/lib/jvm 添加环境变量 $?sudo?gedit?~/.bashrc 在最后添加 ex