hive开发资料..docxVIP

Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语 言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。本文讲解如何搭建一个Hive平台。假设 我们有3台机器：hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2（hive支持的Hadoop版本很 多），hosts文件配置正确。Hive部署在hadoop1机器上。最简单，最快速的部署方案在 Hadoop-0.19.2中自带了hive的文件。版本为0.3.0。我们首先启动Hadoop：sh $HADOOP_HOME/bin/start-all.sh然后启动hive即可：sh $HADOOP_HOME/contrib/hive/bin/hive这个时候，我们的Hive的命令行接口就启动起来了，你可以直 接输入命令来执行相应的hive应用了。这种部署方式使用derby的嵌入式模式，虽然 简单快速，但是无法提供多用户同时访问，所以只能用于简单的测试，无法实际应用于生产环境。所以，我们要修改hive的默认配置，提高可用性。搭建多用户的，提供web界面的部署方案目前只用比较多hive版本是hive-0.4.1。我们将使用这个版本来搭建 hive平台。首先，下载hive-0.4.1：svn co /repos/asf/hadoop/hive/tags/release-0.4.1/ \o /repos/asf/hadoop/hive/tags/release-0.4.1/ \t _blank/repos/asf/hadoop/hive/tags/release-0.4.1/ hive-0.4.1然后，修改下载文件里面的编译选项文件shims/ivy.xml，将其修改为如下内容（对应的Hadoop版 本为0.19.2）ivy-module version=2.0 info organisation=org.apache.hadoop.hive module=shims/ dependencies dependency org=hadoop name=core rev=0.19.2 artifact name=hadoop type=source ext=tar.gz/ /dependency conflict manager=all / /dependencies /ivy-module接下来，我 们使用ant去编译hive: ant package编译成功后，我们会发现在build/dist目录中就是编译成功的文件。将这 个目录设为$HIVE_HOME修改conf/hive-default.xml文件，主要修改内容如下：property namejavax.jdo.option.ConnectionURL/name valuejdbc:derby://hadoop1:1527/metastore_db;create=true/value descriptionJDBC connect string for a JDBC metastore/description /property property namejavax.jdo.option.ConnectionDriverName/name valueorg.apache.derby.jdbc.ClientDriver/value descriptionDriver class name for a JDBC metastore/description /property在hadoop1 机器上下载并安装apache derby数据库：wget /apache-mirror/db/derby/db-derby-/db-derby--bin.zip \o /apache-mirror/db/derby/db-derby-/db-derby--bin.zip \t _blank/apache-mirror/db/derby/db-derby-/db-derby--bin.zip解压derby后，设置$DERBY_HOME然后启动derby的network Server：sh $DERBY_HOME/bin/startNetworkServer -h 接下来， 将$DERBY_HOME/lib目录下的derbyclient.jar与derbytools.jar文件copy到$HIVE_HOME/lib目 录下。启动Hadoop：sh $HADOOP_HOME/bin/start-all.sh最后，启动hive的 web界面：sh $HIVE_HOME/bin/hive --