Hive数据仓库工具架构与应用.pdfVIP

1.02_01_01_01通过实际项目分析引出Hive及Hive、Hive前景如何

1.02_01_01_02Hive架构、优点及使用场景讲解

1.02_01_01_03Hive安装使用准备工作网页

回顾：Hive

HDFS管理

YARN

MapReduce处

理数据

日志：日志内容，统一的规范*每一

行数据就是一条数据(RDBMS)*很多列，

统一的标识符，进行分割Schema模式

约束Hive**在HDFS中处理的数据存

储**分析数据底层的实现是

MapReduce**执行程序运行的

YARNRDBMS表的概念

@@MapReduce编程的不便性##

MapReduce很难编程

##没有Schema，缺乏查询语言，例如SQL数据分析，

针对DBA，SQL语句，如何对数据分析。

MapReduce编程成本高实现并开源Hive。

@@什么是蜂巢

##Hive是基于Hadoop的一个数据仓库工具，可以将重构的数据文件映射成

一张表，并类SQL查询功能。

1.02_01_01_01通过实际项目分析引出Hive及Hive、Hive前景如何

1.02_01_01_02Hive架构、优点及使用场景讲解

1.02_01_01_03Hive安装使用准备工作网页

回顾：

Hive

HDFS

管理

YARN

MapReduce

处理数据

日志：

日志内容，统一的规范

*每一行数据就是一条数据（RDBMS）

*很多列，统一的标识符，进行分割

Schema

模式

约束

Hive

**处理的数据在HDFS

**分析数据底层的实现是MapReduce

**执行程序运行的YARN

RDBMS

表的概念

@@MapReduce编程的不便性

##MapReduceishardtoprogram

##NoSchema,lackofquerylanguage,eg.SQL

数据分析，针对DBA,SQL语句，如何对数据分析。

MapReduce编程成本高

实现并开源Hive。

@@什么是Hive

##Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射

成一张表，并类SQL查询功能。

##在Hadoop上构建数据仓库使用

HQL作为查询接口使用HDFS；使

用MapReduce计算##本质是：将HQL转

换成MapReduce程序

##HQL的是Engine。

@@Hive架构(面试中非常重要)

（1）：

##用户接口：客户端

cli(hiveshell),JDBC/ODBC(javaHive),Webui(浏览器hive)

##元数据：Metastore

元数据包括：表名、表所属的数据库（默认为默认）、表的拥有者、

列、分区字段、表的类型(是否是外部表)、表的数据所在的目录等;

默认在自带的derby数据库中，推荐采用mysql。

##Hadoop：使用HDFS进行，使用MapReduce进行计算。

(2):##驱动器:Driver包含:解释器、

编译器、优化器、执行器解释器:

编译器:优化器:执行器:

@@Hive优点及其使用场景

1.02_01_01_04Hive安装配置及简单的测试网页

1.02_01_01_05Hive初步使用和安装MySQ网页

##构建在Hadoop上的数据仓库

使用HQL作为查询接口

使用HDFS；

使用MapReduce计算

##本质是：将HQL转换成MapReduce程序

##HQL的是Engine。

@@Hive架构（面试中非常