第7章-数据仓库Hive.pptxVIP

第7章 数据仓库Hive;;7.1.1 Hive简介;表7-1 ?Hive和传统关系型数据库的比较;7.1.2 Hive架构;（1）用户接口主要有三个：CLI，Client 和 WUI。 即Hive 对外提供了三种服务模式， Hive 命令行模式（CLI），Hive 的 Web 模式（WUI），Hive 的远程服务（Client），其中最常用的是Hive 命令行模式CLI，WUI是通过浏览器访问Hive。 （2）Hive将元数据存储在关系数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列及类型，存储空间，分区，表数据所在目录等。;（3）解释器、编译器、优化器完成HiveQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后有MapReduce调用执行。 （4）Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成（包含*的查询，比如select * from tbl不会生成MapRedcue任务）。;2、连接数据库的三种模式 Hive将元数据存储在RDBMS中，有三种模式可以连接到数据库： （1）单用户模式。此模式连接到一个嵌入式数据库Derby，一般用于单元测试。;（2）多用户模式。通过网络连接到一个数据库中，是最经常使用到的模式，一般使用mysql存储hive元数据。如下图7-2所示。;（3） 远程服务器模式。用于非Java客户端访问元数据库，在服务器端启动MetaStoreServer，客户端利用Thrift协议通过MetaStoreServer访问元数据库。一般使用mysql存储hive元数据。如下图7-3所示。;7.1.3 Hive数据存储模型;（2）内部表 Hive的内部表与数据库中的表在概念上类似。每一个Table在Hive中都有一个相应的目录存储数据。例如一个表myhive，它在HDFS中的路径为/test/myhive，其中test是在hive-site.xml中由${hive.metastore.warehouse.dir} 指定的数据仓库的目录，所有的Table数据（不包括外部表）都保存在这个目录中。删除表时，元数据与数据都会被删除。 ;（2）内部表 内部表示例： 创建数据文件：myhive.txt 创建表：create table myhive(key string) 加载数据：LOAD DATA LOCAL INPATH ‘filepath’ INTO TABLE myhive 查看数据：select * from myhive select count(*) from myhive 删除表：drop table myhive;（3）外部表 外部表（External Table）指向已经在HDFS中存储的数据，可以创建分区。外部表只有一个过程，加载数据和创建表??时完成（CREATE EXTERNAL TABLE ……LOCATION），实际数据是存储在LOCATION后面指定的 HDFS 路径中，并不会移动到数据仓库目录中。当删除一个外部表时，仅删除该链接。;外部表示例： 创建数据文件：test_ext.txt 创建表：create external table test_ext (key string) 加载数据：LOAD DATA INPATH ‘filepath’ INTO TABLE test_ext 查看数据：select * from test_ext select count(*) from test_ext 删除表：drop table test_ext;（4）分区 分区（Partition）对应于数据库中的Partition列的密集索引，但是Hive中Partition的组织方式和数据库中的很不相同。在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。;分区表示例： 创建数据文件：test_part.txt 创建表：create table test_part (key string) partitioned by (ds string) 加载数据：LOAD DATA INPATH ‘filepath’ INTO TABLE test_part partition (city=‘CA’) 查看数据：select * from test_part select count(*) from test_part 删除表：drop table test_part;（5）桶 桶（Buckets）是将表的列通过哈希（Hash）算法进一步分解