Hive平台功能介绍.pdf

技术创新，变革未来 Hive平台功能介绍 内容 Hive模式设计 Hive列存储 Hive Join Hive Function Hive例子 Hive模式设计  内部表和外部表  分区和分桶  序列化/反序列化(SerDe) Hive模式设计—— 内部表和外部表 表类型 内部表 外部表 语句 create table create external table 是否移动数据到 是 否 warehouse 删除table ，是否删除 是 否，仅删除元数据 数据 源数据 本地磁盘数据或HDFS 已经在HDFS中存在的 数据 数据 创建过程和数据加载过 分别独立完成 （也可以 加载数据和创建表同时 程 在同一个语句中完成， 完成 但数据不会移动到数据 仓库） Hive模式设计—— 内部表和外部表  内部表对数据拥有所有权，将内部表数据保存在 hive.metastore.warehouse.dir目录下，删除内部表时， 相应的数据也会被删除  Hive 对外部表的数据仅仅拥有使用权  外部表只有一个过程，加载数据和创建表同时完成 （ CREATE EXTERNAL TABLE…LOCATION），实际数据 是存储在LOCATION后面指定的 HDFS 路径中，并不会 移动到数据仓库目录中 Hive模式设计—— 内部表和外部表  create table order(cid string, quantity int, price int) row format delimited fields terminated by , lines terminated by \n stored as textfile;  LOAD DATA INPATH /customer_order/order INTO TABLE order;  drop table order;  create external table order(cid string, quantity int, price int) row format delimited fields terminated by , lines terminated by \n stored as textfile LOCATION /customer_order/order;  drop table order; Hive模式设计—— 内部表和外部表  外部表使用场景：导入hdfs中的源数据  内部表使用场景：存放Hive处理的中间表、结果表 如：  每天将日志数据传入HDFS，一天一个目录  Hive基于流入的数据建立外部表，将每天HDFS上的原始 日志映射到外部表的天分区中  在外部表基础上做统计分析，使用内部表存储中间表、 结果表，数据通过SELECT+INSERT进入内部表 Hive模式设计——分区和分桶  Hive通常对数据进行全盘扫描，以满足查询条件  分区的优势在于利用维度分割数据，Hive只加载需要的 数据  常用的分区方式：按天、地域  分区占用数据表中的一个列名，但并不占用表的实际存