Linux系统与大数据应用 第9章习题答案.docx

第9章答案

1.简答题

1)什么是ETL？

ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过\t/_blank数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

2）Hbase的特点是什么？

Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。

Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。

Hbase为null的记录不会被存储.

基于的表包含rowkey，时间戳，和列族。新写入数据时，时间戳更新，同时可以查询到以前的版本.

hbase是主从架构。hmaster作为主节点，hregionserver作为从节点。

3）Hbase和Hive有什么区别？

Hive和Hbase是两种基于Hadoop的不同技术--Hive是一种类SQL的引擎，并且运行MapReduce任务，Hbase是一种在Hadoop之上的NoSQL的Key/vale数据库。当然，这两种工具是可以同时使用的。就像用Google来搜索，用FaceBook进行社交一样，Hive可以用来进行统计查询，HBase可以用来进行实时查询，数据也可以从Hive写到Hbase，设置再从Hbase写回Hive。

4）Hive的特点是什么？

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析

5）Hive的各模块组成？

用户接口

包含CLI，JDBC/ODBC，WebUI

元数据存储（metastore）

默认存储在自带的数据库derby中，线上使用时一般换为MySQL

驱动器（Driver）

解释器、编译器、优化器、运行器

Hadoop

用MapReduce进行计算，用HDFS进行存储