大讲台筛选,Hive从概念到安装使用总结.pdf

大讲台筛选，Hive 从概念到安装使用总结 一、Hive 的基本概念 1.1 hive 是什么？ （1）Hive 是建立在hadoop 数据仓库基础之上的一个基础架构； （2 ）相当于hadoop 之上的一个客户端，可以用来存储、查询和分析存储在hadoop 中的数 据； （3 ）是一种SQL 解析引擎，能够将SQL 转换成Map/Reduce 中的Job 在hadoop 上执行。 1.2 hive 的数据存储特点 （1）数据存储是基于hadoop 的HDFS ； （2 ）没有专门的数据存储格式； （3 ）存储结构主要有：数据库、文件（默认可以直接加载文本文件）、表、视图、索引； 说明：hive 中的表实质就是HDFS 的目录，按表名将文件夹分开，若是分区表，则分区值是 子文件夹。这些数据可以直接在M/R 中使用。大讲台，混合式自适应IT 职业教育开创者。 hive 中的数据是存放在HDFS 中的。 二、hive 的系统结构 存储hive 的元数据（表及表的属性、数据库名字等） 分析执行hive QL 语句，将执行计划投递给hadoop ，转到map/reduce 执行 2.1 hive 的系统结构– metastore 存储方式 默认情况，元数据使用内嵌的derby 数据库作为存储引擎 将存储数据独立出来，支持多用户同时访问 将metastore 独立出来，远程方法调用 三、hive 的安装与使用 3.1 下载hive 源文件，解压hive 文件 进入$HIVE_HOME/conf/修改文件 cp hive-default.xml.template hive-site.xml cp hive-env.sh.template hive-env.sh 修改$HIVE_HOME/bin 的hive-env.sh，增加以下三行 HADOOP_HOME= --hadoop 的home 目录 export HIVE_CONF_DIR= --hive 的conf 目录 export HIVE_AUX_JARS_PATH= --hive 的lib 目录 生效文件： source /hive-env.sh(生效文件) 3.2 配置MySQL 的metastore 修改$HIVE_HOME/conf/hive-site.xml property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true/valu e /property property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.jdbc.Driver/value /property property namejavax.jdo.option.ConnectionUserName/name valueroot/value /property property namejavax.jdo.option.ConnectionPassword/name value123456/value /property 3.3hive 临时目录的配置，大讲台，混合式自适应IT 职业教育开创者。 修改$HIVE_HOME/conf/hive-site.xml (1)设定数据目录 property namehive.metastore.warehouse.dir/name value/usr/local/hive/warehouse/value /property (2)设定临时文件目录 property namehive.exec.scratdir/name value/usr/local/hive/tmp/value /property (3)hive 相关日志的目录 property namehive.querylog.location/name value/usr/local/hive/log/value /property 3.4hive 的运行模式的指定 Hive 的运行模式即任务的执行环境，分为本地与集群两种，我们可以通过mapred.job.tracke r 来指明 本地模式设置方式： hive set mapred.job.tracker=local;