Hadoop 3大数据部署与数据分析实战 课件 03-02-Hive的部署搭建和架构.pptxVIP

三、数据分析3.2Hive的部署搭建和架构

Hive3种安装方式DerbyMetastoreHiveDriver(编译器、优化器、执行器)MySQLMySQLEmbedded（嵌入）Local（本地）Remote（远程）JVMJVMDriver/Metastore/Derby在同一个JVM，但是只能一个数据库链接Driver/Metastore在同一个JVM，采用MySQLDriver、Metastore在不同的JVM，采用MySQLMetastoreHiveDriver(编译器、优化器、执行器)JVMMetastoreHiveDriver(编译器、优化器、执行器)JVMJVM

Hive体系结构Hadoop集群RDBMSMetastoreHiveDriver(编译器、优化器、执行器)HiveServer2CLIHiveWebInterfaceClientHiveServicesHiveODBCDriverHiveJDBCDriverHiveThriftClientODBCApplicationJDBCApplicationThriftApplicationHive2.2.0后已经移除MySQL/Derby/MariaDB

Hive工作原理RDBMSMetastoreHiveServer2CLIHiveWebInterfaceYARNHDFSHive执行器HiveDriverHive编译器Hive分析器Hive优化器......Hive驱动程序1.执行查询2.获取计划5.发送计划3.获取元信息4.发送元信息6.执行计划6.1提交Job6.2Job完成9.获取结果7.获取结果8.发送结果

什么是元数据元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（dataaboutdata），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能

HiveMetadataHiveMetadata即Hive的元数据。包含用Hive创建的database、table、表的位置、类型、属性，字段顺序类型等元信息。元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等

HiveMetadataMetastore即元数据服务。Metastore服务的作用是管理metadata元数据，对外暴露服务地址，让各种客户端通过连接metastore服务，由metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore服务即可。某种程度上也保证了hive元数据的安全。

Hive安装Step1：mariadb和mariadb-server安装（配置mariadb）Step2：上传解压Hive安装包（设置环境变量）Step3：新增hive-site.xml文件Step4：添加驱动、初始化

Hive启动bin/hive、bin/beeline