细细品味Hadoop_Hadoop集群(第14期)_Hive应用开发.pdfVIP

细细品味 Hadoop ——Hadoop 集群（第 14 期） 精 华 集 锦 csAxp 虾皮工作室 /xia520pi/ 2012 年 7 月 3 日 创建时间：2012/3/24 修改时间：2012/3/26 修改次数：0 Hadoop 集群（第14 期） ——Hive 应用开发 1、Hive的服务 Hive 不仅仅是一个shell，通过配置，它可以提供诸如Thrift 服务器、Web 接口、元数 据和JDBC/ODBC 服务，具有强大的功能和良好的可扩展性。 1.1 Hive Shell Hive Shell 是默认的服务，提供命令行接口，可以在此命令行上直接编写HiveQL 语句 执行，每条语句以分号结束，也可以在Hive Shell 上执行Hive 自带的管理命令，例如导入 jar 包，加入临时环境变量等操作。 1）执行Hive 语句 ? 执行查询语句 hive select name from xp; 从上面的得知，在执行“select * from xp; ”时，可以看到启动了一个MapReduce job ， 建好表导入数据后，就可以浏览与Hive 相关的目录。 ? 执行HDFS 文件操作 在Hive 的shell 上使用dfs 命令可以查看HDFS 上的文件。 HDFS 上的“/user/hive/warehouse ”目录是Hive 的数据仓库目录，每个表对应一个以 表明命名的目录，目录下存放导入的文件、分区目录、桶目录等数据文件。Hive 的查询日 志默认保存在本地文件系统的“/tmp/ ”目录下，Hive 的MapReduce 执行计划保 河北工业大学——软件工程与理论实验室 编辑：虾皮 1 创建时间：2012/3/24 修改时间：2012/3/26 修改次数：0 存在本地的“/tmp/ /hive ”中。这三个目录可以分别通过属性： ? hive.metastore.metadb.dir ：（HDFS 上的）数据目录 ? hive.querylog.location ：查询日志存放目录 ? hive.exec.scratcher ：（HDFS 上的）临时文件目录 2 ）设置和查看临时变量 备注：设置只在当前会话有效，方便切换Hive 的执行环境。 hive set hdfs://:9000 hive set ; 3 ）导入jar 包（jar 包存在） hive add jar hivejar.jar Added hivejar.jar to class path Added resource:hivejar.jar 4 ）创建函数（类存在） hive create temporary function udfTest as ‘com.cstore.udfExample’; 当然也可以在本地系统的命令行运行Hive 的shell 。 $ hive –e ‘select * from xp’ （执行HiveQL 语句） $ hive –config /hive-0.8.1/conf （重新载入新的配置文件） $ hive –service hiveserver （启动服务） 1.2 JDBC/ODBC支持 Hive 提供了对JDBC 和ODBC 的支持，这一特性使基于JDBC/ODBC 的应用能力以很 小的代价平滑过渡到Hive 平台。 河北工业大学——软件工程与理论实验室 编辑：虾皮 2 创建时间：2012/3/24 修改时间：2012/3/26 修改次数：0 1）JDBC 在Hive 的jar 包中，“org.apache.hadoop.hive.jdbc.HiveDriver ”负责提供JDBC 接口， 客户端程序有了这个包，就可以把Hive 当成一个数据库来使用，大部分的操作与对传统数 据库的操作相同，Hive 允许支持JDBC 协议的应用程序连接到Hive 。当Hive 在指定端口启 动hiveserver 服务后，客户端通过Java 的Thrift 和Hive 服务器进行通信，连接过程如下： ? 开启hiveserver 服务 $ hive –service hiveserver 50000 （50000 ） ? 建立与Hive 的连接 Class.forName “org.apache.hadoop.hive.jdbc.HiveDriver” ; Connection con DriverManager.getConnection “jdbc:hive://ip:50000/default,”hive”,”hadoop” 默认只能连接到default，通过上面的两行代码建立连接后，