Hadoop大数据处理技术基础与实践第八章 分布式数据仓库技术Hive.pptVIP

* 第八章 分布式数据仓库技术Hive 8.1 Hive出现的原因 如何实现对 SQL 技术比较熟悉的程序设计人员在 Hadoop 平台上对海量数据进行分析？ 如何实现传统的数据格式到 Hadoop 平台上的迁移，如基于传统关系型数据库的数据格式和 SQL 处理技术？ 如何实现传统数据库设计人员在 Hadoop 平台上使用其所熟悉的 SQL技术施展才能？ 如何在分布式环境下采用数据仓库技术从更多的数据中快速地获取数据的有效价值？ 8.1.1 Hive的定义 Hive 是一种数据仓库技术，用于查询和管理存储在分布式环境下的大数据集， 由 Facebook 公司研发并作为开源项目贡献给了 Apache 软件基金会，目前 Hive 成功升级为 Apache 的顶级项目，并获得了全球大多数自由软件爱好者和大型软件公司的源码贡献和功能完善，成为一个应用广泛、可扩展的数据处理平台。 8.2 Hive 服务组成–体系结构 8.3 Hive安装 1.基本安装 2. MySQL安装 3. Hive 配置 hive-site.xml 文件内容 编辑 hive-env.sh 文件，在文件末尾添加变量指向 Hadoop 的安装路径 创建数据仓库操作过程中临时数据在 HDFS 上的转存目录 创建数据仓库操作过程中数据文件在 HDFS 上的存储目录 分别对刚创建的目录添加组可写权限，允许同组用户进行数据分析操作 8.3 Hive安装–相关的属性设置方法 1.Hive SET 命令 2.进入 Hive 会话带-hiveconf 选项 3.读 hive-site.xml 文件 4.读 hive-default.xml 文件 5.读 hadoop-site.xml 文件及其相关文件（如 core-site.xml、hdfs-site.xml、mapred-site.xml) 6.读 hadoop-default.xml 文件及其相关文件（如 core-default.xml、hdfs-default.xml、mapred-default.xml) 8.4 Hive Shell 介绍 Hive Shell 运行在 Hadoop 集群环境上，是 Hive 提供的命令行接口（CLI） ，在 Hive 提示符输入 HiveQL 命令， Hive Shell 把 HiveQL 查询转换为一系列 MapReduce 作业对任务进行并行处理， 然后返回处理结果。 Hive 采用 RDBMS 表 （table） 形式组织数据， 并为存储在 Hadoop上的数据提供附属的对数据进行展示的结构描述信息，该描述信息称为元数据（metadata）或表模式，以 metastore 形式存储在 RDBMS 数据库中。Hive Shell 下的大多数操作与 MySQL 命令一致，熟悉 MySQL 的使用者会察觉两者的语法操作基本一样。 8.5 HiveQL 详解– HiveQL与SQL的差异 8.5.1 Hive 管理数据方式 1.内部表 2. 外部表 3.内部表与外部表之间的抉择 4.分区 5.桶 8.5.2 Hive 表 DDL 操作 1. Create/Drop/Alter 数据库 2. Create/Drop/Truncate 表 3. Alter 表/分区/列 4. Create/Drop/Alter 视图 5. Create/Drop/Alter 索引 6. Create/Drop 函数 7. Create/Drop/Grant/Revoke 角色和权限 8.5.3 Hive 表 DML 操作 1.将文件中的数据导入（Load）到 Hive 表中 2. Select 操作 3.将 select 查询结果插入 hive 表中 4.将 select 查询结果写入文件 5. Hive 表 ACID 事务特性 NOW Handout Page * * Page *