Hive_HBase_整合.pdf

环境说明： l hadoop：2.4.0 l Zookeeper：3.4.6 l Hbase：0.96 l Hive：0.13.1 1. Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信，相互 通信主要是依靠Hive安装包 \apache-hive-0.13.1-bin\lib\hive-hbase-handler-0.9.0.jar工具类，它负 责Hbase和Hive进行通信的。 Hive和HBase通信原理如下图： 2. Hive 的安装 Step01：上传apache-hive-0.13.1-bin到Linux 目录下 说明： 1.这里使用的是最新版本稳定版，下载： /apache/hive/ 2. 使用远程ftp工具上传到Linux下的 /yf/home/software 目录下 Step02：解压到安装目录下： cd /home/yf/software #切换到root用户： su password #创建目录 mkdir -p /usr/share/hive #解压到安装目录 tar -zxvf apache-hive-0.13.1-bin.tar.gz -C /usr/share/hive #更改用户 chown -R yf:yf /usr/share/hive #切换回来 su yf cd /usr/share/hive ll Step03：配置环境变量 su do vi /etc/profile 编辑如下: # 使之生效 source /etc/profile Step04：拷贝jar包 #删除$HIVA_HOME/lib 目录下的的Zookeeper 的jar包 rm -rf $HIVE_HOME/lib/zookeeper* #拷贝生产环境下的Zookeeper 的jar包到$HIVA_HOME/lib 目录下 cp $ZOOKEEPER_HOME/zookeeper-3.4.6.jar $HIVA_HOME/lib Step05：修改$HIVE_HOME/conf/hive-site.xml cd $HIVE_HOME/conf #复制一份出来 cp hive-default.xml.template hive-site.xml #修改hive-site.xml vi hive-site.mxl 由于文件内容比较多，需要进行查找，查找方式很简单，在命令行模式下输 入 ‘/’ 后面跟上需要查找的文本即可找到，如： / hive.querylog.location hive.querylog.location /usr/share/hive/logs 记得创建logs 目录： mkdir $HIVE_HOME/logs #修改hive.zookeeper.quorum 的值： hive.zookeeper.quorum yf001,yf002,yf003,yf004,yf005,yf006,yf007 Step06：在目录$HIVE_HOME/bin 目录下面，修改文件hive-config.sh #在最后面增加以下内容： export JAVA_HOME=/usr/lib/jvm/java7 export HIVE_HOME=/usr/share/hive export HADOOP_HOME=/usr/share/hadoop/static Step07：修改$HADOOP_HOME/conf/hadoop-env.sh #增加HADOOP_CLASSPATH export HADOOP_CLA PATH=.:$CLA PATH:$HADOOP_CLA PATH:$HADOOP_HOME/bin #记得修改完成以后，要将修改后的文件同步拷贝到其他的节点。 注：如果hadoop-env.sh 中没有增加HADOOP_CLASSPATH 的话会报下面的错误： java.lang.NoClassDefFoundError: o