Hive数据仓库技术与应用全套教学课件.pptx

Hive数据仓库技术与应用 单元1Hive前的准备 单元2环境准备 单元3Hadoop搭建和配置 单元4安装Hive的基础操作 单元5HiveQL的数据定义 单元6HiveQL语句 单元7Hive和企业接轨 Hive前的准备 单元1 Hive的产生背景 1 Hive的产生背景 1 Hive的产生背景 Apache Hive数据仓库软件可以使用SQL方便地阅读、编写和管理分布在分布式存储中的大型数据集。产生背景有以下几个方面： Hive的背景 1 Hive的产生背景 （1）MapReduce编程使用起来不方便、不适合事务/单一请求处理、不能随即读取、以蛮力代替索引。 （2）Hive由Facebook开源，最初用于解决海量结构化的日志数据统计问题，它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 Hive的产生背景 1 Hive的产生背景 （3）Hive是建立在 Hadoop 上的数据仓库基础构架。 （4）Hive比较简单、容易上手（提供了类似于SQL查询语言HQL）、为超大数据集设计的计算/存储扩展能力（MR计算，HDFS存储）、统一的元数据管理。 Hive的产生背景 Hive的产生背景 Hive的实现 Hive的产生背景 Hive的实现 2 Hive的概念 2 Hive的概念 （1）Hive包含了3大组成部分： ① Hive Clients ② Hive Services ③ Hive Storage and Computing 2 Hive的概念 Hive组件：Driver、Compiler、 Execution Egine、Metastore Metastore组件包括两个部分：Metastore database和Metastore services Hive 由Facebook 实现并开源， 基于Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(Hive SQL)查询功能， 底层数据是存储在HDFS 上。 Hive组件 3 Hadoop生态与Hive 3 Hadoop生态与hive Pig pig是数据流的语言，所以很适合做物质的数据探索和ETL阶段数据的非处理，它和Spark的思想很相似，所以也可以说Spark是实现正确的Pig。 Pig包括两部分：一是用于描述数据流的语言，称为Pig Latin；二是用于运行Pig Latin程序的执行环境。 3 Hadoop生态与hive HBase HBase是Apache Hadoop中的一个子项目，HBase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用Hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构，还可以通过Map/Reduce的框架（算法）对HBase进行操作。 3 Hadoop生态与hive 采用HBase的原因 HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。 HBase是介于Map Entry(key value)和DB Row之间的一种数据存储方式。 Thank YOU! Hive数据仓库技术与应用 环境准备 单元2 VMware与SecureCRT Portable 1 VMware与SecureCRT Portable 1 VMware与SecureCRT Portable VMware（威睿）虚拟机软件，是全球桌面到数据中心虚拟化解决方案的领导厂商。全球不同规模的客户依靠VMware来降低成本和运营费用、确保业务持续性、加强安全性并走向绿色。 VMware的简介 1 VMware与SecureCRT Portable （1）VMware虚拟化前 ： ① 每台主机一个操作系统； ② 软件硬件紧密地结合； ③ 在同一主机上运行多个应用程序通常会遭遇沖突； ④ 系统的资源利用率低； ⑤ 硬件成本高昂而且不够灵活； （2）VMware虚拟化后： ① 打破了操作系统和硬件的互相依赖； ② 通过封装到到虚拟机的技术，管理操作系统和应用程序为单一的个体； ③ 強大的安全和故障隔离； ④ 虚拟机是独立于硬件的，它们能在任何硬件上运行； Vmware的虚拟化 1 VMware与SecureCRT Portable ① 分区 ② 隔离 ③ 封装 ④ 相对与硬件独立 Vmware的四大特性 2 JDK的配置 2 JDK的配置 中文称为Java开发工具包，由SUN公司提供。它为Java程序开发提供了编译和运行环境，所有的Java程序的编写都依赖于它。 JDK的简介 2 JDK的配置 （1）J2SE：标准版 （2）J2EE：企业版 （3）J