大数据集群配置过程_hive篇.docx

大数据集群配置过程_hive篇JDDC_SEED_BIGDATA 2015-01-15 修改历史修改日期担当者审阅人版本号新增2015-01-18孙云涛V1.0概述本篇文档主要讲解hive的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且安装的hadoop是hadoop2.2.0，所以本次安装的hive版本是0.12.0 切记，在安装hbase之前一定先安装hadoop，而且要确保hadoop中的HDFS和MAPREDUCE都是可以正常使用的。正文与hadoop和hbase不同，hive在安装的过程中不需要把hive的包分别发布到个节点上，只需要在namenode节点上hive包进行配置，但需要在配置的过程中指定各个datanode节点的主机名。2.1下载安装mysql本次将Hive配置成Server模式，并且使用MySQL作为元数据数据库。原则上MySQL不必要非得安装在namenode节点上，可以装在一个单独的服务器上，并进行远程联接。本次技术检证，由于资源有限，把mysql安装在namenode节点上。下载MySQL-5.6.22-1.linux_glibc2.5.i386.rpm-bundle.tar，参考下载地址/downloads/。具体的安装以及root初始密码的修改请参考《linux下MySQL安装及设置》和《MySQL修改root密码的各种方法整理》这两篇文档。2.2创建Hive元数据库创建数据库hive：create database if not exists hive; 创建数据库用户hive：create user hive identified by hive2015; 授权可以访问数据库hive的主机和用户：grant all on hive.* to hive@hadoop01 identified by hive2015;grant all on hive.* to hive@hadoop02 identified by hive2015;grant all on hive.* to hive@hadoop03 identified by hive2015;grant all on hive.* to hive@hadoop04 identified by hive2015;2.3安装以及配置hive下载hive-0.12.0-bin.tar.gz，参考下载地址/downloads.html。下载之后，把安装包放在/home/hadoop/source/目录下。执行以下命令：tar –zxvf hive-0.12.0-bin.tar.gz执行完成上述命令会么生一个hive-0.12.0-bin的目录创建hive包的联接ln –s /home/hadoop/source/hive-0.12.0-bin/ ./hive在/etc/profile中新追加以下内容export HIVE_HOME=/home/hadoop/source/hiveexport PATH=$HIVE_HOME/bin:$PATH安装MySQL-Connector，下载网址：/downloads/connector/。选择“Connector/J”，接着选择“Platform Independent”，本文下载的是“mysql-connector-java-5.1.30.tar.gz”。压缩包“mysql-connector-java-5.1.30.tar.gz”中有个mysql-connector-java-5.1.30-bin.jar，解压后将mysql-connector-java-5.1.30-bin.jar上传到Hive的lib目录下（/home/hadoop/source/hive-0.12.0-bin/lib/），这个是MySQL的JDBC驱动程序。修改hive的配置文件（各配置文件位置：/home/hadoop/source/hive-0.12.0-bin/conf/）根据原来的几个模板文件，生成hive需要使用的配置文件，执行以下各个命令：cp hive-env.sh.template hive-env.shcp hive-de