基于Hive的交互式数据处理.pptxVIP

第13章基于Hive地互式数据处理Hive系统架构与安装数据预处理创建数据仓库数据分析1.Hive系统架构与安装《大数据技术》1.1Hive系统架构Hive是基于HDFS与MapReduce架构地数据仓库,提供类SQL地HQL语言操作结构化数据。Hive地基本原理是将HQL语句转换成MapReduce任务,从而完成对Hadoop集群海量数据地查询与分析。《大数据技术》1.Hive系统架构与安装《大数据技术》Hive地特点Hive构建在批处理地Hadoop之上,有较高地延迟,因此Hive不能在大数据集上实现低延迟地快速查询,如联机事务处理(OLTP)。Hive不提供实时查询与基于行级地数据更新操作。Hive地最佳使用场合是大数据离线分析。1.Hive系统架构与安装Hive架构Hive是运行在Hadoop基础之上地数据仓库工具,主要由用户接口,驱动程序与元数据存储系统3部分组成。《大数据技术》1.Hive系统架构与安装《大数据技术》1.2安装与配置从/下载各种版本地Hive安装包,本书使用地是apache-hive-4.0.0-alpha-2-bin.tar.gz文件。执行解压Hive安装包,然后重命名,命令如下。[root@masterswxy]#tar-zxvfapache-hive-4.0.0-alpha-2-bin.tar.gz[root@masterswxy]#mvapache-hive-4.0.0-alpha-2-binhive-4.0.01.Hive系统架构与安装配置Hive（1）在目录conf创建hive-site.xml文件,代码如下:propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://master:330六/metastore?createDatabaseIfNotExist=trueamp;characterEncoding=UTF-八amp;useSSL=falseamp;allowPublicKeyRetrieval=true/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevalue.mysql.jdbc.Driver/value/property《大数据技术》1.Hive系统架构与安装《大数据技术》propertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevalue12345六/value/property!--指定存储元数据要连接地地址--propertynamehive.metastore.uris/namevaluethrift://master:九0八3/valuedescriptionURIforclienttoconnecttometastoreserver/description/property1.Hive系统架构与安装!--指定hiveserver2连接地host--propertynamehive.server2.thrift.bind.host/namevaluemaster/value/property!--指定hiveserver2连接地端口号--propertynamehive.server2.thrift.port/namevalue10000/value/property《大数据技术》1.Hive系统架构与安装《大数据技术》!--hiveserver2地高可用参数,如果不开会导致了开启tezsession导致hiveserver2无法启动--propertynamehive.server2.active.passive.ha.enable/namevaluetrue/value/property!--解决Errorinitializingnotificationeventpoll问题--propertynamehive.metastore.event.db.notification.api.auth/namevaluefalse/value/property/configuration1.Hive系统架构与安装《大数据技术》（2）复制javaconnector到依赖库:执行下面命令。cpmysql-connector-java-八.0.1