大数据集群配置过程_hbase篇.docx

大数据集群配置过程_hbase篇 JDDC_SEED_BIGDATA 2015-01-15 修改历史修改日期担当者审阅人版本号新增2015-01-15孙云涛V1.0 概述 本篇文档主要讲解hbase的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。 在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下： 由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hbase版本是0.96.x 切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。 正文 本次hadoop集群规模以及分布如下： 主机IP主机名主机角色操作系统02hadoop02HmasterCentos6.501hadoop01HregionserverCentos6.503hadoop03HregionserverCentos6.504hadoop04HregionserverCentos6.5 注意：Hregionserver和datanode安装在同一主机上，所以Hregionserver和datanode的主机数量最好是奇数，否则hbase启动时会报错。 2.1下载安装hbase 声明：可以先在Hmaster节点上安装、配置hbase以及修改/etc/profile，然后通过scp命令把hbase包和/etc/profile复制到各个HregionServer上。 下载hbase-0.96.2-hadoop2-bin.tar.gz，参考下载地址 HYPERLINK /dyn/closer.cgi/hbase/ /dyn/closer.cgi/hbase/。 下载后放置在目录/home/hadoop/source/下 执行以下命令： tar –zxvf hbase-0.96.2-hadoop2-bin.tar.gz tar指令执行完成后，/home/hadoop/source/下会生成一个目录hbase-0.96.2-hadoop2 进入到/home/hadoop/source/hbase-0.96.2-hadoop2/conf目录下,修改以下文件 hbase-site.xml文件中在configuration/configuration内追加以下内容： property namehbase.master/name valuehadoop02:60000/value /property property namehbase.master.maxclockskew/name value300000/value /property property namehbase.rootdir/name valuehdfs://hadoop02:9000/hbase/value /property property namehbase.cluster.distributed/name valuetrue/value /property property namehbase.zookeeper.quorum/name valuehadoop01,hadoop03,hadoop04/value /property property nameperty.dataDir/name value/home/hadoop/zookeeper/value /property property nameperty.clientPort/name value2181/value /property property namehbase.tmp.dir/name value/home/hadoop/hbase/value /property 注意：hbase.rootdir这一项一定要和hadoop的core-site.xml中的的配置内容一致（hdfs://hadoop02:9000/部分）。而且不用特意在hdfs中创