hive简单使用.pdf

hive 简单使用 一、hive 的基本概念与原理 Hive 是基于 Hadoop 之上的数据仓库，可以存储、查询和分析存储在 Hadoop 中的大规模数据。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据，允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 没有专门的数据格式。 hive 的访问方式： hive 的执行原理： 1 / 13 二、hive 的常用命令 连接进入 hive ：hive 删除数据库 ：drop database if exists qyk_test cascade;如下图： 然后，我们使用 create database qyk_test;创建一个 qyk_test 的数据库，如下： 接下来，我们执行 create table user_info(id bigint, account string, name string, age int) row format delimited fields terminated by ‘\t’;创建一张表，如下： 我们可以执行 describe user_info;查看表结构，如下： 2 / 13 然后，我们使用 create table user_info_tmp like user_info;创建一个和 user_info 一样结构的临时表，如下： 然后我们准备一个文件 user_info.txt ，以制表符分隔，如下 11 1200.0 qyk1 21 22 1301 qyk2 22 33 1400.0 qyk3 23 44 1500.0 qyk4 24 55 1210.0 qyk5 25 66 124 qyk6 26 77 1233 qyk7 27 88 15011 qyk8 28 接下来执行 load data local inpath ‘/tmp/user_info.txt’ into table user_info;可看到如下： 然后执行 select * from user_info;可看到： 然后，我们执行 insert into table user_info_tmp select id, account, name, age from user_info;可以看到： 3 / 13 这里，hive 将此语句的执行转为 MR ，最后将数据入到user_info_tmp。 然后，我们执行 select count(*) from user_info_tmp;可看到： 同样的是将 sql 转为 mr 执行。 最后，执行 insert overwrite table user_info select * from user_info where 1=0;清空表数据。 执行 drop table user_info_tmp;便可删除表，如下： 4 / 13 好了，基本命令就讲到这儿，关于外部表、分区、桶以及存储格式相关的概念大家也可以去研究下。 三、编写 MR 将数据直接入到 hive 此 MR 只有 Mapper ，没有reducer。直接在 mapper 输出到 hive 表。 pom 需新增依赖： !-- hcatalog 相关 jar -- dependency groupIdorg.apache.hive.hcatalog /groupId artifactId hive-hcatalog-core /artifactId version ${hive.version}/version /dependency dependency