Hive技术平台详解.pptxVIP

技术创新，变革未来Hive技术平台详解

内容Hive介绍Hive运行架构HiveQL示例HiveQL原理Hive数据库结构

Hive是什么Facebook开源，最初用于解决海量日志统计问题可以将结构化的数据文件映射为一张数据库表设计目标是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据提供近乎完整的SQL功能早期唯一大规模运行在Hadoop上的SQL工具使用HQL作为查询接口使用HDFS作为存储底层使用MapReduce作为执行层,SQL语句转换为MapReduce任务运行

Hive优缺点优点学习成本低：通过类SQL语句快速实现很多MapReduce任务，各种背景的人都能够上手基于Hadoop的一个数据仓库工具，适合做ETL适合数据仓库统计分析：海量结构化数据离线分析，不必开发专门的MapReduce应用缺点HQL表达能力有限，有些复杂运算用HQL不易表达

Hive和RDBMS的区别HiveRDBMS查询语言HQLSQL数据存储HDFSLocalFS数据格式判断查询时判断插入时判断执行延迟高低处理数据规模大小执行MRExecutor

Hive在hadoop生态体系中的位置

Hive安装部署Metastore通常会单独占一个节点，提供服务

Hive运行架构

Hive运行架构Hive是C/S模式Client端有JDBC/ODBC和ThriftClient，可远程访问HiveServer端有：CLI、ThriftServer、HWI、Driver、Metastore其中CLI、ThriftServer、HWI是暴露给Client访问的Hive服务Driver、Metastore是Hive内部组件，Metastore还可以供第三方SQLonHadoop框架使用

Hive运行架构CLI（CommonLineInterface）：命令行接口，默认服务bin/hive或bin/hive--servicecliHWI（HiveWebInterface）：Web接口，默认端口9999bin/hive--servicehwiThriftServer：通过Thrift提供服务，默认端口是10000bin/hive--servicehiveserverbin/hive--servicehiveserver2对应新的CLI：beeline(Hive0.11引入)，作为HiveJDBCClient访问HiveServer2，解决了CLI并发访问问题

Hive运行架构Metastore：负责元数据服务，RDBMS负责元数据存储bin/hive--servicemetastore官方提供服务和存储的三种部署模式内嵌模式本地模式远程模式

Hive运行架构最简单的部署方式，默认方式使用内嵌的Derby数据库存储元数据Derby只能接受一个Hive会话的访问不能用于生产

Hive运行架构

Hive运行架构将Metastore分离出来，成为一个独立的Hive服务可以将数据库层完全置于防火墙后，不再暴露数据库用户名和密码，避免认证信息的泄漏

HiveQL示例创建2张表分别从本地和hdfs上加载数据查看表信息登录mysql，在TBLS表中查看新增的表执行查询操作删除表

HiveJoin实现selectproduct.name,order.orderidfromorderjoinproductonorder.pid=product.pid;

HiveGroupBy实现selectrank,isonline,count(*)fromusergroupbyrank,isonline;

HiveDistinct实现selectpid,count(distinctuid)numfromordergroupbypid;

Hive优化策略开启Combinersethive.map.aggr=true;倾斜数据二次分发sethive.groupby.skewindata=true;生成两个MRJob第一个MRJob中，Map输出结果会随机分发到不同Reduce中，每个Reduce做部分聚合操作，达到负载均衡第二个MRJob中，按照Key分发到不同Reduce中，完成最终的聚合

Hive数据库结构

Hive数据库类似传统数据库的DataBase在hdfs中生成1个目录Hive的默认数据仓库目录是/user/hive/warehouse，在hive-site.xml中由hive.metastore.warehouse.dir项定义示例：createdatabasetest_database;

Hive表Hi