5.1FusionInsight技术基础-Hive架构原理.pdfVIP

Hive是一种底层封装了 Hadoop 的数据仓库处理工具，使用类 SQL的 HiveQL语言实现数据 查询，所有 Hive的数据都存储在 Hadoop 兼容的 HDFS中。 Hive在加载数据过程中不会对 数据进行任何的修改，只是将数据移动到 HDFS中Hive设定的目录下，因此， Hive不支持 对数据的改写和添加，所有的数据都是在加载的时候确定的。 Hive 的设计特点如下： 支持索引，加快数据查询。 支持不同的存储类型，例如：纯文本文件、 HBase中的文件。 将元数据保存在关系数据库中，大大减少了查询过程中执行语义检查的时间。 可以直接使用存储在 Hadoop 文件系统中的数据。 内置大量用户函数 UDF来操作时间、字符串和其他的数据挖掘工具，支持用户扩 展 UDF函数来完成内置函数无法实现的操作。 类 SQL的查询方式，将 SQL查询转换为 MapReduce 的job 在 Hadoop 集群上执行。 注释： SQL(Structured Query Language) ：结构化的查询语言，如 MySql、Oracle 、DB2等主流 关系型数据库都支持 SQL语句。 ETL(Extract-Transform-Load ）：用来描述将数据从来源端经过抽取（ extract ）、转换 （transform ）、加载（ load ）至目的端的过程。 UDF(User Defined Function) ：指自定义函数。 说明： SQL(Structured Query Language) ：结构化的查询语言，如 MySql、Oracle 、DB2等主流 关系型数据库都支持 SQL语句。 Beeline：作为一个 Hive客户端工具。 JDBC(Java Data Base Connectivity)，java数据库连接技术，用于执行 SQL语句的 Java API。 Thrift: Apache Thrift 是 Facebook实现的一种高效的、支持多种编程语言的远程服务调用 的框架。 UDF(User Defined Function) ：指自定义函数。 UDAF(User Defined Aggregate Functions ）：自定义聚合函数，如 count(),sum()均属于聚 合函数。 多接口：即 Hive支持上述的 Beeline接口、 JDBC接口、 Thfift 接口和 Python接口。 说明： UDF(User Defined Function) ：指自定义函数。 OLTP(On-Line Transaction Processing ）：在线事务处理系统。 缺点说明： Hive 作为一个数据仓库架构，并不适合在线实时查询，因为当前 Hive是基于 MapReduce 作为执行引擎的，启动 MapReduce会有一定时间延迟，所以对于需要立即返回查询结果 的实时查询来说， Hive当前并不适合这种场景。同时 Hive也不支持通过 insert/update/delete 删除指定行的数据。 Hive构建在基于静态批处理的 Hadoop 之上， Hadoop通常都有较高的延迟并且在作业提 交和调度的时候需要大量的开销。因此， Hive并不能够在大规模数据集上实现低延迟快 速的查询，例如： Hive在几百 MB 的数据集上执行查询一般有分钟级的时间延迟。因此 ，Hive并不适合那些需要低延迟的应用，例如，联机事务处理（ OLTP）。 Hive查询操作 过程严格遵守 Hadoop MapReduce 的作业执行模型， Hive将用户的 HiveQL语句通过解释 器转换为 MapReduce 作业提交到 Hadoop 集群上， Hadoop 监控作业执行过程