Hive数据仓库技术Hive架构与数据存储32课件讲解.pptxVIP

Hive-数据仓库技术

-Hive架构与数据存储

任务描述

任务描述：

Hive架构与数据存储

主要内容：

Hive架构及其核心组件有哪些？

Hive是如何在HDFS上管理数据的？

如何优化Hive的查询性能？

(1)架构设计

Hive构建在Hadoop生态系统之上，尤其依赖于Hadoop分布式文件系统（HDFS）来存储数据。

(3)查询处理方式

Hive使用的查询语言是类SQL语言HiveQL，设计初衷是让熟悉SQL的用户能够快速上手大数据处理。

(5)应用场景

Hive的主要应用场景是大数据分析和离线数据仓库处理。

(2)数据存储方式

Hive采用的是“schemaonread”的数据存储方式，这意味着数据在写入HDFS时没有严格的结构要求，数据的格式和结构检查是在读取时进行的。

(4)事务支持

Hive在设计初期并不支持传统数据库中常见的ACID（原子性、一致性、隔离性、持久性）事务模型。

Hive与传统数据库的区别

Hive的核心架构

(1)HDFS（HadoopDistributedFileSystem）

HDFS是Hive的底层存储系统，负责存储海量数据。

(2)计算引擎

Hive最早使用的是Hadoop的MapReduce框架来执行分布式计算，但随着时间推移，为了提升性能和效率，Hive引入了更多的计算引擎选项

(3)Metastore（元数据存储）

Metastore是Hive的核心组件之一，存储了关于数据库、表、列、分区等的元数据信息。

(4)HiveQL（HiveQueryLanguage）

HiveQL是Hive提供的类SQL查询语言，它让数据分析人员可以像使用SQL那样，通过标准的查询语句来分析和操作数据。

Hive的核心架构

元数据存储方式：Metastore通常存储在关系型数据库（如MySQL或PostgreSQL）中，它是Hive用于管理表结构和数据位置的关键组成部分。具体如图所示：

数据表的管理与分区策略

Hive的表分为两种类型：内部表和外部表。内部表是由Hive完全管理的，包括数据存储和元数据，当内部表被删除时，表中的数据也会随之删除。而外部表的元数据由Hive管理，但数据存储在外部的HDFS目录中，因此当外部表被删除时，数据不会被删除。这使得外部表非常适合引用外部数据集或需要共享的数据源。通过创建这些表，用户可以指定各种存储格式，比如TextFile、SequenceFile、Avro、Parquet等。不同的存储格式在处理大规模数据时各有优势，特别是像Parquet或ORC这样的列式存储格式，在OLAP场景下可以显著提高查询性能。

Hive中的分区策略，它通过将表按某个字段划分为多个分区来优化数据的组织和访问。分区实际上是将表的数据拆分为多个独立的目录，每个分区对应表中某个字段的值。这样，当用户执行查询时，Hive只需扫描相关分区，而无需读取整个表中的数据，极大地减少了I/O开销。例如，如果表按照“日期”字段分区，用户只需要查询某个日期范围的数据时，Hive只会扫描该日期范围内的分区，大幅提升查询效率。

Hive与SQL的关系

Hive与SQL的关系非常紧密，Hive本质上是一个基于Hadoop的大数据仓库框架，允许用户通过SQL风格的查询语言来操作存储在HDFS上的大规模数据集。Hive使用的查询语言称为HiveQL（HiveQueryLanguage），它与传统的SQL非常相似，因此用户能够利用已有的SQL知识轻松上手。

任务小结

Hive架构与数据存储

Hive与传统数据库的区别

Hive的核心架构

数据表的管理与分区策略

HDFS作为Hive的数据存储层

Hive与SQL的关系