HBase分布式存储系统应用（第二版） 课件 第4章 HBase环境搭建.pptx

智慧交通概述HBase分布式存储系统第1章 HBase介绍第2章 HBase模型和系统架构第3章 HBase数据读写流程第4章 HBase环境搭建第5章 HBase Shell第6章 HBase程序开发第7章 HBase高级特性第8章 MapReduce On HBase目 录第4章 HBase环境搭建教学内容4.1 ZooKeeper的安装4.2 HBase的安装教学目标掌握Hbase集群部署和安装方法第4章 HBase环境搭建HBase运行环境需要依赖于Hadoop集群，如果Hadoop尚未搭建，可以参考本套教材《Hadoop大数据开发》的相关章节。HBase引入ZooKeeper来管理集群的Master和入口地址，因此需要先安装ZooKeeper，再设置HBase。本章将会详细介绍HBase的环境搭建以及可能遇到的错误事项。4.1 ZooKeeper的安装在ZooKeeper集群环境下只要一半以上的机器正常启动了，那么ZooKeeper服务将是可用的。因此，集群上部署ZooKeeper最好使用奇数台机器，这样如果有5台机器，只要3台正常工作则服务将正常。在目前的实际生产环境中，一个Hadoop集群最多有三台节点作备用Master，即并不是所有节点都安装ZooKeeper。如果以实验为目的，可以将所有节点都安装ZooKeeper并作为Master使用。本书使用的ZooKeeper版本是zookeeper-3.4.5，可以在Apache的官网下载，下载地址为/zookeeper/。4.1 ZooKeeper的安装1．解压将下载好的ZooKeeper文件上传到Hadoop集群中的master节点，使用命令tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/将其解压。2．修改配置文件（1）创建文件夹。mkdir /hadoop/zookeeper-3.4.5/data/hadoop/zookeeper-3.4.5/log（2）修改zoo.cfg。进入ZooKeeper的conf目录修改zoo.cfg。cp zoo_sample.cfg zoo.cfg4.1 ZooKeeper的安装修改zoo.cfg的内容为：dataDir=/hadoop/zookeeper-3.4.5/datadataLogDir=/hadoop/zookeeper-3.4.5/logserver.0=28:2888:3888server.1=29:2888:3888server.2=31:2888:3888除了dataDir的内容为修改外，其他配置信息均为新增。4.1 ZooKeeper的安装（3）创建myid文件。在/hadoop/zookeeper-3.4.5/data文件夹下创建myid文件，将其值修改为0。需要注意的是，zoo.cfg中server.后面的数值必须和“=”后面IP中的myid值保持一致，即IP为29的节点中myid的值必须为1，IP为31的节点中myid的值必须为2。（4）分发到slave1和slave2节点。scp -r /hadoop/zookeeper-3.4.5/ slave1:/hadoop/scp -r /hadoop/zookeeper-3.4.5/ slave2:/hadoop/同时按照步骤（3）的要求修改myid文件对应的值。4.1 ZooKeeper的安装3．修改三个节点的环境变量在/etc/profile文件末尾添加export PATH=$PATH:/hadoop/zookeeper-3.4.5/bin并执行命令source /etc/profile使配置的环境变量生效。4．测试在三个节点上分别执行命令zkServer.sh start，启动后可以通过命令zkServer.sh status查看ZooKeeper的运行状态，其中只能有一个节点充当leader，其余所有节点均为follower。ZooKeeper的进程名叫QuorumPeerMain，如图4-1至图4-6所示。4.1 ZooKeeper的安装图4-1 master节点ZooKeeper运行状况图4-2 slave1节点ZooKeeper运行状况图4-3 slave2节点ZooKeeper运行状况图4-4 master节点jps信息4.1 ZooKeeper的安装图4-5 slave1节点jps信息图4-6 slave2节点jps信息4.2 HBase的安装本书使用的HBase版本是hbase-1.3.1（不采用1.4.0的原因是该版本基于Hadoop 2.7.4平台开发，而本书使用的Hadoop版本是2.6.5，会存在部分版本兼容性问题），可以在Apach