hive基础数据库操作以及分区、动态分区、分桶.pdfVIP

hive基基础础数数据据库库操操作作以以及及分分区区、、动动态态分分区区、、分分桶桶

⼀、hive基础概念

1、Hive是什么

Hive是建⽴在Hadoop上的数据仓库基础构架。提供了⼀系列的⼯具，可以⽤来进⾏数据提取转化加载（ETL），这是⼀种可以存储、查询和分析存

储在Hadoop中的⼤规模数据的机制。Hive定义了简单的类SQL查询语⾔，称为HQL，允许熟悉SQL的⽤户查询数据。同时，这个语⾔

也允许熟悉MapReduce开发者的开发⾃定义的mapper和reducer来处理内建的mapper和reducer⽆法完成的复杂的分析⼯作。

Hive是SQL解析引擎，将SQL语句转译成M/RJob然后在Hadoop执⾏。

Hive的表其实就是HDFS的⽬录，按表名把⽂件夹分开。如果是分区表，则分区值是⼦⽂件夹，可以直接在M/RJob⾥使⽤这些数据。

Hive相当于hadoop的客户端⼯具，部署时不⼀定放在集群管理节点中，可以放在某个节点上

2、hive与传统数据库⽐较

3、Hive的存储格式

Hive的数据存储基于HadoopHDFS。

Hive没有专门的数据⽂件格式,常见的有以下⼏种。TEXTFLESEQUENCEFLEAVRORCFLEORCFLEPARQUET

4、Hive操作客户端

⼆、hive基础语法（hive基础语法与MySQL差不多）

1、建库，删库；

createdatabase库名；

切换test1数据库：

usetest1;

删库

DROPDATABASEFEXSTSycc;(删除空数据库)

DROPDATABASEFEXSTSyccCASCADE;（删除库之前清空库中表）

2、建表；

create[EXTERNAL]tablestudents

(

idbigint,

namestring,

ageintcomment,

genderstring,

clazzstring

)

PARTTONEDBY(⾮必选；创建分区表

dtstring)

clusteredby(userid)into3000buckets//⾮必选；分桶⼦

ROWFORMATDELMTEDFELDSTERMNATEDBY\t//必选;指定列之间的分隔符

STOREDASrcfile//⾮必选；指定⽂件的读取格式，默认textfile格式

location/testdata/;//⾮必选；指定⽂件在hdfs上的存储路径，如果已经有⽂件，会⾃动加载，默认在hive的warehouse下

CREATE[EXTERNAL]TABLE[FNOTEXSTS]table_name

//定义字段名，字段类型

[(col_namedata_type[COMMENTcol_comment],...)]

//给表加上注解

[COMMENTtable_comment]

//分区

[PARTTONEDBY(col_namedata_type[COMMENTcol_comment],...)]

//分桶

[CLUSTEREDBY(col_name,col_name,...)

//设置排序字段升序、降序

[SORTEDBY(col_name[ASC|DESC],...)]NTOnum_bucketsBUCKETS]

[

//指定设置⾏、列分隔符

[ROWFORMATrow_format]

//指定Hive储存格式：textFile、rcFile、SequenceFile默认为：textFile

[STOREDASfile_format]

|STOREDBYstorage.handler.class.name[WTHSERDEPR