重剑无锋 Hive架构剖析.docxVIP

重剑无锋 | Hive架构剖析 hive的基本架构图如下图所示： 相关组件引见 数据存储 Hive中的数据可以存储在任意与Hadoop兼容的文件系统，其最常见的存储文件格式次要有ORC和Parquet。除了HDFS之外，也支持一些商用的云对象存储，比如AWS S3等。另外，Hive可以读入并写入数据到其他的独立处理系统，比如Druid、HBase等。 Data catalog Hive使用Hive Metastore(HMS)存储元数据信息，使用关系型数据库来长久化存储这些信息，其依靠于DataNucleus(供应了标准的接口（JDO, JPA）来访问各品种型的数据库资源 ),用于简化操作各种关系型数据库。为了恳求低延迟，HMS会直接通过DataNucleus直接查询关系型数据库。HMS的API支持多种编程言语。 执行引擎 最后版本的Hive支持MapReduce作为执行引擎，后来又支持 Tez和Spark作为执行引擎，这些执行引擎都可以运转在YARN上。 查询服务 Hiveserver2(HS2)允许用户执行SQL查询，Hiveserver2允很多个客户端提交恳求到Hive并前往执行结果，HS2支持本地和近程JDBC和ODBC连接，另外Hive的发布版中包括一个JDBC的客户端，称之为Beeline。 Hive客户端 Hive支持多种客户端，比如Python, Java, C++