【精选】Hadoop+Zookeeper+HBase部署指南.pdfVIP

Hadoop+Zookeeper+HBase 安装指南 RUC DB-IIR 卞昊穹 /bhq2010 bianhaoqiong@ 2012.07.28-Version1 集群情况： 4 个节点，IP 分别为： node0: 36(NameNode/JobTracker/SecondaryNameNode/HMaster) node1: 32(DataNode/TaskTracker/HRegionServer/QuorumPeerMain) node2: 33(DataNode/TaskTracker/HRegionServer/QuorumPeerMain) node3: 34(DataNode/TaskTracker/HRegionServer/QuorumPeerMain) 软件版本： CentOS Linux 6.2 x86_64(2.6.32) OpenJDK-1.6.0_24 Hadoop-1.0.2 Zookeeper-3.4.3 HBase-0.94.0 Note: 从CentOS 镜像站下载系统： /centos/6.2/isos/x86_64/ 系统安装之后可能没有自带完整的 GCC 和JDK 。如果是在VMWare 虚拟机上安装系统的话， 安装VMtools 之前需要先安装GCC 并更新Kernel，参考： /bhq2010/article/details/7364009 安装HBase 需要先安装Hadoop 和Zookeeper 。在安装Hadoop 之前，需要先确定所有节点的 操作系统中安装了JDK 1.6 ，并正确设置JAVA_HOME 、CLASSPATH、PATH 环境变量。 此外，在所有的节点上建立同名的用户以便于后续的安装。下文所使用的shell 命令 （灰色 方框内），以#开头表示在 root 用户下执行，以$开头表示在 hadoop 用户下执行。后续的安 装过程如下。 目录 1. hosts和hostname设置 2 2. SSH设置 2 3. Hadoop配置安装3 4. Zookeeper配置安装5 5. HBase配置安装 6 1. hosts 和hostname 设置 安装分布式的 Hadoop 和 HBase 集群需要在每一个节点上都设置网络中的 hosts 和本机的 hostname。 首先将/etc/hosts 文件中 这一行的中间一段改为本机的主机名，并在文件末尾添加 hosts 配置，每行为一个ip 地址和对应的主机名，以空格分隔。以node0 为例，修改后的hosts 文件如下： node0 localhost ::1 localhost6.localdomain6 localhost6 36 node0 32 node1 33 node2 34 node3 再将/etc/sysconfig/network 文件中HOSTNAME=一行中“= ”之后内容改为主机名，如： HOSTNAME=node0 2. SSH 设置 CentOS 默认安装了OpenSSH，在所有节点上启动SSH 服务器端sshd 即可： # service sshd start 在/etc/rc.d/rc.local 文件的末尾添加一行，使得sshd 开机启动： service sshd start 之后，在node0 生成ssh 公钥，添加到node1/2/3 的~/.ssh/authorized_keys 文件中以实现node0 无密码登录node1/2/3，参考： /bhq2010/article/details/6845985 此处node0 是ssh 客户端，node1/2/3 是ssh 服务器端。CentOS 系统中还需要将authorized_keys 文件的权限改为600： $ chmod 600 ~/.ssh/authorized_keys 完成后测试node0 是否可以无密码登陆其他节点： $ ssh node1 $ ssh node2 $ ssh node3 Note: 如果添加公钥后node0 仍然无法无密码登录其他几点，可能还需要将/etc/ssh/sshd_config 文 件中以下三行的注释去掉： #RSAAuthentication yes #PubkeyAuthentication yes #AuthorizedKeysFile .ssh/authorized_keys 修改文件后需要重新启动sshd ： # service sshd restart 3. H